机器学习中的最大似然估计-CSDN博客

本文链接：https://blog.csdn.net/Rainbow0210/article/details/52895726

博主分享了在学习机器学习过程中对最大似然估计的理解，指出学校教学中对此概念的忽视。通过举例说明最大似然估计的概念，即找到使事件发生概率最大的参数估计。还提到了在多参数或数据缺失情况下，最大似然估计的困难，以及1977年Dempster提出的EM算法作为解决方法，但未深入展开。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

博主在学习机器学习的时候常常感受到自己数学知识的匮乏。故会逐步总结与机器学习相关的数学知识，发布于此。
这里吐槽一下，博主的学校虽然名气很高，但是对于概率论这样的基础学科讲解的却很不到位。这里分析原因主要有下：
- 专业课业压力重导致概率论只有一学期的课程并且只有三个学分，换言之，只有48*45分钟，这种短时的学习周期并不能兼顾速度与质量，而老师选择了质量，导致大量的知识点直接被略过，比如此文的最大似然估计。
- 老师是数学系的，听课的学生也来自不同的专业，导致有很多和计算机相关的理论并没有着重讲，反而一些和计算机不太相关的理论讲了很多。

吐槽结束，进入正题。

首先来看一个例子，设有两个完全相同的盒子A和B，其中，盒子A中有99个白球，1个黑球；盒子B中有99个黑球，一个白球。今随机抽取一箱，并从中抽取一球，结果取得的是白球，问这个球从哪个箱子取出？

对于这个例子，想必大多人会说，是从盒子A中取出的，因为盒子A中有99%是白球，而盒子B中的白球仅占1%，所以盒子A的可能性远远大于B。换言之，这个球“更像”盒子A中取出的。这里的“更像”即为最大似然之原意。（’最大似然’这个名字听起来更高大上，仅此而已）。

所以说起来，最大似然估计就是让出现这件事情的概率达到最大的那个假设。
当然，问题不会总是这么简单。我们再来看一个例子。

我们用随机变量X来表示某产品经过检查后的不合格数，X=0为合格，X=1为不合格，那么X则服从二点分布，即X~b(1,p)，这里p为不合格率（二点分布的意思就是合格的概率是1-p，不合格的概率是p）。先抽取n各产品，检查结果为 $x_1,x_2,...,x_n$ ，让我们估计p的大小。
首先，检查结果为 $x_1,x_2,...,x_n$ 的概率为：