【机器学习中的数学】最大似然估计

最大似然估计

二项分布例子

假设一个盒子里有1，2两种小球，其中1的概率为θ,2的概率为1-θ

X	1	2
P	θ	1-θ

其中样本无限大抽出不影响概率，抽出5次，序列为：1， 1，2，1，2
则概率为：θ * θ （1-θ） θ *（1-θ）
即 L(θ) = θ³ * (1-θ)²

思路

最大似然估计的思路为：既然抽到了这种概率，就将这种概率认为是最大的概率。
接下来的步骤就是通过求导寻找这个函数： L(θ) = θ³ * (1-θ)² 的最大值。
因为这个函数一般次数比较高（多个概率相乘），所以一般采取ln操预作简化。（采用ln还有一个好处，ln操作不会影响原函数的增减性）

均匀分布例子

X在0 ~ a上服从均匀分布，X~U(0,a),a未知
则x的概率密度函数为

其中一组样本为：x₁，x₂，x₃…x_n,因为这是连续型随机变量，每一个点的概率都为0，所以采用这组样本的联合概率密度作为这个例子的似然函数

思路

同样的，因为抽到了这组样本，所以最大似然估计认为这组样本的联合概率密度是最大的，问题转为求函数L(a) = 1/aⁿ 的最大值的问题。
注意，函数中明显a无限趋近于0时函数值最大，但a并不能无限趋近于0

原因是，若a小于样本中最大值x_n，则表示我的样本只能从0~a的区间中抽出来，但x _n已经被抽出来了，违背了既定事实，所以不可能小于max(x_1-n)。即最小值就是max(x_1-n)。