原理
核心思想
极大似然估计:已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,通过若干次试验,观察其结果,某个参数能使这个样本出现的概率最大,就把这个参数作为估计的真实值。
一般步骤:
- 根据样本的概论分布,写出样本的联合概率似然函数
- 对似然函数取对数
- 求导解对数似然方程
实例-掷硬币实验
在掷硬币实验中,估计出现证明向上的概率
θ
\theta
θ
\qquad \qquad
已知
\qquad
\qquad
\qquad
\qquad
x
i
∼
b
(
1
,
θ
)
x_i\sim b(1, \theta)
xi∼b(1,θ),
\qquad
则有:
\qquad
\qquad
\qquad
p
(
X
=
x
)
=
θ
x
(
1
−
θ
)
x
p(X=x)=\theta ^x(1-\theta)^x
p(X=x)=θx(1−θ)x
似然函数:
\qquad
\qquad
L
(
θ
)
=
p
(
X
1
=
x
1
∣
θ
)
⋅
p
(
X
2
=
x
2
∣
θ
)
…
p
(
X
n
=
x
n
∣
θ
)
L(\theta) = p(X_1 = x_1|\theta)\cdot p(X_2 = x_2|\theta)\dots p(X_n = x_n|\theta)
L(θ)=p(X1=x1∣θ)⋅p(X2=x2∣θ)…p(Xn=xn∣θ)
\qquad
\qquad
\qquad
=
∏
i
=
1
n
θ
x
i
(
1
−
θ
)
1
−
x
i
=\prod_{i=1}^{n} \theta^{x_i}{(1-\theta)}^{1-x_i}
=∏i=1nθxi(1−θ)1−xi
求解:
\qquad
\qquad
arg max
θ
l
n
L
(
θ
)
=
∑
i
n
[
l
n
θ
x
i
+
l
n
(
1
−
θ
)
1
−
x
i
]
{\underset {\theta} { \operatorname {arg\,max} }} lnL(\theta )=\sum_{i}^{n}\left [ln\theta^{x_i}+{ln(1-\theta)}^{1-x_i} \right ]
θargmaxlnL(θ)=∑in[lnθxi+ln(1−θ)1−xi]
\qquad
\qquad
\qquad
\qquad
\qquad
=
∑
i
n
x
i
l
n
θ
+
(
n
−
∑
i
n
x
i
)
l
n
(
1
−
θ
)
=\sum_{i}^{n}x_iln\theta+{(n-\sum_{i}^{n}x_i)}{ln(1-\theta)}
=∑inxilnθ+(n−∑inxi)ln(1−θ)
对上式求偏导有:
\qquad
\qquad
\qquad
\qquad
\qquad
∂
l
n
L
(
θ
)
∂
θ
=
∑
i
n
x
i
θ
+
(
n
−
∑
i
n
x
i
)
1
−
θ
\frac{\partial lnL(\theta )}{\partial \theta } =\frac{\sum_{i}^{n}x_i}{\theta } +\frac{(n-\sum_{i}^{n}x_i)}{1-\theta}
∂θ∂lnL(θ)=θ∑inxi+1−θ(n−∑inxi)
解得:
\qquad
\qquad
\qquad
\qquad
\qquad
\qquad
\qquad
θ
=
∑
i
n
x
i
n
\theta =\frac{\sum_{i}^{n}x_i}{n }
θ=n∑inxi