统计学基础(五)：极大似然估计

Fisher的极大似然思想

随机试验有多个结果，但在一次实验中，有且只有一个结果会出现。
如果在某次试验中，结果{ $\omega$}出现了，则认为该结果（事件$P${ $\omega$}）发生的概率最大。

\quad
假设总体$X$是离散型随机变量，其分布律为：
P { X = a k } = p k ( θ ) ( k = 1 , 2 , …   ) P\{X=a_k\}=p_k(\theta)\quad (k=1,2,\dots) P{ X=ak​}=pk​(θ)(k=1,2,…)
其中 θ { θ ∈ Θ } \theta\{\theta\in\Theta\} θ{ θ∈Θ}是未知参数。

$X_1,X_2,\dots ,X_n$是来自总体的样本
$x_1,x_2,\dots ,x_n$是样本观测值
即事件 { X 1 = x 1 , X 2 = x 2 , … , X n = x n } \{X_1=x_1,X_2=x_2,\dots,X_n=x_n\} { X1​=x1​,X2​=x2​,…,Xn​=xn​}发生了，由fisher的极大似然思想可以得到：
概率 P { X 1 = x 1 , X 2 = x 2 , … , X n = x n } P\{X_1=x_1,X_2=x_2,\dots,X_n=x_n\} P{ X1​=x1​,X2​=x2​,…,Xn​=xn​}最大
P { X 1 = x 1 , X 2 = x 2 , … , X n = x n } P\{X_1=x_1,X_2=x_2,\dots,X_n=x_n\} P{ X1​=x1​,X2​=x2​,…,Xn​=xn​}
= P { X 1 = x 1 } P { X 2 = x 2 } … P { X n = x n } =P\{X_1=x_1\}P\{X_2=x_2\}\dots P\{X_n=x_n\} =P{ X1​=x1​}P{ X2​=x2​}…P{ Xn​=xn​}
= P { X = x 1 } P { X = x 2 } … P { X = x n } =P\{X=x_1\}P\{X=x_2\}\dots P\{X=x_n\} =P{ X=x1​}P{ X=x2​}…P{ X=xn​}
$=L(\theta )$

定义1：设$X_1,X_2,\dots ,X_n$是来自总体的样本，$x_1,x_2,\dots ,x_n$是样本观测值。
1）若$X$是离散型总体，其分布律为：
P { X = a k } = p k ( θ } ( k = 1 , 2 , …   ) P\{X=a_k\}=p_k(\theta\}\quad (k=1,2,\dots) P{ X=ak​}=pk​(θ}(k=1,2,…)
令 L ( θ ) = L ( θ ; x 1 , x 2 , … , x n ) = ∏ i =