机器学习—数学基础—极大似然估计

一、原理

举例：
设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。

一般说来，事件A发生的概率与某一未知参数θ有关，参数θ取值不同，则事件A发生的概率P也不同，当我们在一次试验中事件A发生了，则认为此时的θ值应是t的一切可能取值中使P达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。

简单理解：事情已经发生了，当未知参数等于多少时，能让这个事情发生的概率最大，执果索因。

二、例题

一个暗箱里有三种球（1，2，3），其概率分布律如表(概率中含θ)所示，进行有放回的抽样，得到了 1 2 2 2 1 2 2 3 1 3，记为x1, x2, …, xn，现在想通过极大似然估计的方法，估计θ


注：上图计算过程中运用了对数运算法则(把累乘变成了累加方便求解)：

两个正数的积的对数，等于同一底数的这两个数的对数的和，即