【统计学习笔记】最大似然法
最大似然原理
随机试验有若干个可能的结果,如果在一次试验中结果A发生,而导致结果A发生的原因有很多,在分析导致结果A发生的原因时,使结果A发生的概率最大的原因,推断为导致结果A发生的真实原因。
似然函数
设 X 1 , X 2 , ⋯ , X n X_1,X_2,\cdots,X_n X1,X2,⋯,Xn使来自总体X的样本, x 1 , x 2 , ⋯ , x n x_1,x_2,\cdots,x_n x1,x2,⋯,xn是样本观察值,令
L ( θ ) = L ( θ ; x 1 , ⋯ , x n ) = { ∏ i = 1 n p ( x i ; θ ) 当 X 是 离 散 型 变 量 ∏ i = 1 n f ( x i ; θ ) 当 X 是 连 续 型 变 量 L(\theta)=L(\theta;x_1,\cdots,x_n)=\begin{cases}\prod\limits_{i=1}^np(x_i;\theta)&当X是离散型变量\\\prod\limits_{i=1}^n f(x_i;\theta)&当X是连续型变量\end{cases} L(θ)=L(θ;x1,⋯,xn)=⎩⎪⎨⎪⎧i=1∏np(xi;θ)i=1∏nf(xi;θ)当X是离散型变量当X是连续型变量
称
L
(
θ
)
L(\theta)
L(θ)为似然函数。
当总体是离散型时,它是样本
X
1
,
X
2
,
⋯
,
X
n
X_1,X_2,\cdots,X_n
X1,X2,⋯,Xn取可能值
x
1
,
x
2
,
⋯
,
x
n
x_1,x_2,\cdots,x_n
x1,x2,⋯,xn的概率。
当总体是连续型时,它是样本取观察值的概率“密度”。
最大似然估计量
参数空间中,始得似然函数取最大值的参数,称为参数的最大似然估计量。