极大似然估计
核心思想
已知某个随机变量的样本集合X符合某种概率分布，但是这个分布的超参数 θ \theta θ还未知。此时即可通过极大似然估计得到 θ ^ \hat \theta θ^，令估计得到的 θ ^ \hat \theta θ^使得这个样本集合出现的概率最大。即
θ ^ = arg max θ P ( D ∣ θ ) \hat{\boldsymbol{\theta}}=\arg \max _{\boldsymbol{\theta}} P(D | \boldsymbol{\theta}) θ^=argθmaxP(D∣θ)
也就是说参数是自变量，集合出现的概率是应变量。
一般步骤
写出似然函数
L ( θ i ) = ∏ i = 1 N f ( x i , θ 1 , θ 2 … θ n ) L\left(\theta_{i}\right)=\prod_{i=1}^{N} f\left(x_{i}, \theta_{1}, \theta_{2} \dots \theta_{n}\right) L(θi)=i=1∏Nf(xi,θ1,θ2…θn)
对似然函数取对数
ln L ( θ i ) \ln L\left(\theta_{i}\right) lnL(θi)
对 θ i \theta_i θi求偏导数
∂ ∂ θ t ln L ( θ ) \frac{\partial}{\partial \theta_{t}} \ln L(\theta) ∂θt∂lnL(θ)
解似然方程组
∂ ∂ θ t ln L ( θ ) = 0 \frac{\partial}{\partial \theta_{t}} \ln L(\theta)=0 ∂θt∂lnL(θ)=0
具体实例
来推导下面正态分布中，概率密度函数的参数 μ \mu μ的极大似然估计。概率密度函数如下
f ( x ) = 1 2 π σ exp ( − ( x − μ ) 2 2 σ 2 ) f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right) f(x)=2πσ1exp(−2σ2(x−μ)2)
按照上面所给的一般步骤，第一步求各个样本 x i x_i xi出现的概率之积，也就是似然函数：
L ( μ ) = ∏ i = 1 n f ( x i , μ ) = ∏ i = 1 n 1 2 π σ exp ( − ( x i − μ ) 2 2 σ 2 ) \mathrm{L}(\mu)=\prod_{i=1}^{n} f\left(x_{i}, \mu\right)=\prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(x_{i}-\mu\right)^{2}}{2 \sigma^{2}}\right) L(μ)=i
最低0.47元/天 解锁文章
38万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
