深入浅出极大似然估计法

之前多次接触极大似然估计，一直没有透彻的理解清楚，下午特意抽空查阅资料，整理成一篇较为通俗易懂的博文。

概念
　　“似然” ( likelihood )可以通俗的理解成 ”像是这样“ ，意思为 ”事件(观察数据)发生的可能性“，”极大似然估计“ 就是要找到一个估计值，使得 ”事件发生的可能性“ 最大。

举个例子

　　如图，有两个外形完全相同的箱子。甲箱中有99个白球1个黑球，乙箱中有99个黑球1个白球。一次试验，取出的是黑球。 那么这个黑球最像是从哪个箱子取出的？大多数人都会说，这个黑球最像是从乙箱中取出的，这个推断符合人们的经验，即为“最大似然”。

总结来说，最大似然估计 假设模型是确定的，然后利用抽取的样本结果，反推最大概率导致这样结果的模型参数值，即：“模型已定，参数未知”。

因此，样本结果的概率(即事件发生的可能性)，是一个带模型参数的似然函数。最大似然估计法的目标就是最大化似然函数，用最优化算法求解 导致样本结果概率最大的参数值。

极大似然估计的描述
　　极大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。

首先，假设$ x_1,x_2,…,x_n$为独立同分布的采样，θ为模型参数, f 为所使用的模型。因此，产生上述采样结果的概率可表示为：

$$f(x_1,x_2,...,x_n|\theta )=f(x_1|\theta )\ast f(x_2|\theta )...,f(x_n|\theta )$$

由于极大似然估计法中，我们已知的为$ x_1,x_2,…,x_n$，未知为θ，故似然函数定义为:

$$L(\theta |x_1,...,x_n)=f(x_1,...,x_n|\theta )=\prod _{i=1}^{n}f(x_i|\theta )$$

两边取对数，得到对数似然，公式为：

$$lnL(\theta |x_1,...,x_n)=ln\prod _{i=1}^{n}f(x_i|\theta )=\sum _{i=1}^{n}lnf(x_i|\theta )$$

最大似然估计法最常用的为对数平均似然，公式为：

$$\hat{l}=\frac{1}{n}\ln L(\theta |x_1,...,x_n)$$

因此最大似然估计法就是 最大化似然函数求参数值，即：

$${\hat{\theta }}_{mle}=argma{x}_{\theta \in \Theta }\hat{l}(\theta |x_1,...,x_n)$$

极大似然估计的例子
　　我们假设已知的模型为正态分布$N(\mu ,{\sigma }^2)$，则似然函数为：

$$L(\mu ,{\sigma }^2)=\prod _{i=1}^{n}f(x_i|\theta )=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}=(2\pi {\sigma }^2{)}^{-\frac{n}{2}}{e}^{-\frac{1}{2{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu {)}^2}$$

两边取对数，得对数似然函数为：

$$lnL(\mu ,{\sigma }^2)=-\frac{n}{2}ln(2\pi )-\frac{n}{2}ln({\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(x_i-\mu {)}^2$$

最大化似然函数，我们对它进行求导：

$$\{\begin{array}{c}\frac{\partial \ln L(\mu ,{\sigma }^2)}{\partial \mu }=\frac{1}{{\sigma }^2}{\sum }_{i=1}^n(x_i-\mu )=0\\ \frac{\partial \ln L(\mu ,{\sigma }^2)}{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}{\sum }_{i=1}^n(x_i-\mu {)}^2=0\end{array}$$

联合解得：

$$\{\begin{array}{c}{\mu }^{\ast }=\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i\\ {\sigma }^{\ast 2}=\frac{1}{n}{\sum }_{i=1}^n(x_i-\overline{x}{)}^2\end{array}$$

似然方程有唯一解：$({\mu }^{\ast },{\sigma }^{\ast 2})$,即为最大似然估计量$\hat{\theta }$。

因此，求最大似然估计量$\hat{\theta }$的一般步骤为：

    （1）写出似然函数；

    （2）对似然函数取对数，并整理；

    （3）求导数；

    （4）解似然方程。

注意：

参数估计不同于估计。
　　日常所说的估计一般是通过样本分布估计总体的分布，比如用样本集的均值作为总体的期望。在参数估计中，模型是假设已知的，估计得参数后就可得完整模型。