程序员的自我修养之数学基础13：极大似然估计_极大似然估计无解处理-CSDN博客

本文链接：https://blog.csdn.net/qq_45427038/article/details/101198607

极大似然估计是统计学中的一种重要参数估计方法，它通过找到使样本出现概率最大的参数值来估计未知参数。本文介绍了似然与概率的区别，极大似然估计的原理和步骤，以及其在离散型和连续型随机变量中的应用。同时，对比了极大似然法与最小二乘法的不同，强调了极大似然估计在模型已知情况下的优势和局限性。

摘要由CSDN通过智能技术生成

极大似然估计（maximum likelihood estimation，MLE），顾名思义，就是“看起来最有可能的估计”。比如说，我们看到一个黑人，会猜测他来自非洲或者美洲，这就是基于自己的经验得到的“最像”事实的推断。极大似然估计的基本原理，就是概率最大的事件，最可能发生，因此在一次试验中就出现的事件应当具有较大的概率。比如刚才的问题中，因为非洲黑人比例最高，那么看到一个黑人，这个黑人来自非洲的概率就比来自其他地方的概率高，所以我们第一反应就会猜测他来自非洲。

在学习极大似然估计之前，我们先要简单区分一下“似然（likelihood）”与“概率（probability）”的概念：

在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。

概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上，但是根据硬币的性质我们可以推测任何一面朝上的可能性均为50%，这个概率只有在抛硬币之前才是有意义的，抛完硬币后的结果便是确定的；而似然刚好相反，是在确定的结果下去推测产生这个结果的可能环境（参数），还是抛硬币的例子，假设我们随机抛掷一枚硬币1,000次，结果500次人头朝上，500次数字朝上（实际情况一般不会这么理想，这里只是举个例子），我们很容易判断这是一枚标准的硬币，两面朝上的概率均为50%，这个过程就是我们运用出现的结果来判断这个事情本身的性质（参数），也就是似然。

（来源：http://fangs.in/post/thinkstats/likelihood/）

我们用 $\theta$ 表示环境对应的参数，表示结果，那么概率写做 $P(x\mid \theta )$ ，表示在前置条件 $\theta$ 下，事件发生的概率。相应的，似然可以记为 $L(\theta \mid x )$ ，表示已知结果为，参数为 $\theta$ 对应个概率。从数值上来说