最大似然估计
二项分布例子
假设一个盒子里有1,2两种小球,其中1的概率为θ,2的概率为1-θ
X | 1 | 2 |
---|---|---|
P | θ | 1-θ |
其中样本无限大抽出不影响概率,抽出5次,序列为:1, 1,2,1,2
则概率为:θ * θ (1-θ) θ *(1-θ)
即 L(θ) = θ3 * (1-θ)2
思路
最大似然估计的思路为:既然抽到了这种概率,就将这种概率认为是最大的概率。
接下来的步骤就是通过求导寻找这个函数: L(θ) = θ3 * (1-θ)2 的最大值。
因为这个函数一般次数比较高(多个概率相乘),所以一般采取ln操预作简化。(采用ln还有一个好处,ln操作不会影响原函数的增减性)
均匀分布例子
X在0 ~ a上服从均匀分布,X~U(0,a),a未知
则x的概率密度函数为
其中一组样本为:x1,x2,x3…xn,因为这是连续型随机变量,每一个点的概率都为0,所以采用这组样本的联合概率密度作为这个例子的似然函数
思路
同样的,因为抽到了这组样本,所以最大似然估计认为这组样本的联合概率密度是最大的,问题转为求函数L(a) = 1/an 的最大值的问题。
注意,函数中明显a无限趋近于0时函数值最大,但a并不能无限趋近于0
原因是,若a小于样本中最大值xn,则表示我的样本只能从0~a的区间中抽出来,但x n已经被抽出来了,违背了既定事实,所以不可能小于max(x1-n)。即最小值就是max(x1-n)。