人工智能里的数学修炼 | 模型参数求解：极大似然估计

极大似然估计（maximum likelihood estimation,mle）方法最初由德国数学家高斯提出，但这个方法通常被归功于英国统计学家罗纳德·菲舍尔。他在1992年的论文On the mathematical foundations of theoretical statistics, reprinted in Contributions to Mathematical Statistics总结了极大似然估计，极大似然估计的名字也是费舍尔给的。1950年 J. Wiley & Sons 中再次提出了这个思想，并且首先探讨了这种方法的一些性质，目前，这仍然是一种得到广泛应用的参数估计方法

一、极大似然估计原理

极大似然估计提供了一种给定观察数据来评估模型参数的方法，即“模型已知，参数未知“。其直接原理是：一个随机试验如果有若干个可能的结果A，B，C，…,若在一次实验中，结果A出现了，那么可以认为实验条件对A的出现有利，即A事件发生的概率P(A)较大。

举一个简单的例子：
设甲箱中有99个白球，1个黑球；乙箱中有1个白球，99个黑球。现随机取出一个箱子，再从抽取的一箱中随机取出一球，结果是黑球，我们知道，这一球是从乙箱抽取的概率比从甲箱中抽取的概率大的多，这时我们自然更多的愿意相信这个黑球是取自乙箱的。
更一般的来说，若事件A的发生概率与某一未知参数 $\theta$ 有关， $\theta$ 取值不同，则事件A发生的概率 $P(A|\theta )$ 也不同，当我们在一次试验中，若事件A发生了，则此时认为 $\theta$ 值应是一切可能取值中使 $P(A|\theta )$ 最大的那一个，极大似然估计法就是要选取这样的值作为参数的估计值

极大似然估计，是概率论在统计学中的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。
极大似然估计一个很重要的假设是：所有采样都是独立同分布的

二、极大似然的数学模型与求解

极大似然估计的一般求解步骤为：
（1）写出似然函数
（2）取平均对数似然函数
（3）求解似然估计值
现在我们分步来介绍

2.1 列出似然函数

首先，假设 $x_1,x_2,...,x_n$ 为独立同分布的采样， $\theta$为模型参数，$f$ 为我们所用的模型。则参数为 $\theta$ 的模型 $f$ 产生上述采样可表示为

$f(x_1,x_2,...,x_n|\theta )=f(x_1|\theta )\times f(x_2|\theta )\times \cdot \cdot \cdot \times f(x_n|\theta )$
此时，我们已知的为 $x_1,x_2,...,x_n$，未知的为 $\theta$。现定义似然函数为 $L(\theta |x_1,x_2,...,x_n)=f(x_1,x_2,...,x_n|\theta )={\prod }_{i=1}^{n}f(x_i|\theta )$

2.2 取平均对数似然函数

在实际应用中我们通常将似然函数取对数

$lnL(\theta |x_1,x_2,...,x_n)={\sum }_{i=1}^{n}lnf(x_i|\theta )$
我们称上式中的 $lnL$ 为对数似然函数， $\bar{L}=\frac{1}{n}lnL$ 为平均对数似然，而我们平时所称的对数似然为最大的平均对数似然,即 ${\bar{\theta }}_{mle}=argmax\bar{L}(\theta |x_1,x_2,...,x_n)$

选择似然函数在观测值最大处的那个参数值作为 $\theta$ 的估计。以上为离散型随机变量的极大似然估计，若总体为连续性，则可以使用其概率密度函数构建似然函数。
极大似然估计法的原理就是固定样本观测值 $(x_1,x_2,...,x_n)$ ，挑选参数 $\theta$ 使

$L(x_1,x_2,..,x_n|\bar{\theta })=maxL(x_1,x_2,..,x_n|\theta )$
这样得到的 $\bar{\theta }$ 与样本值有关， $\bar{\theta }(x_1,x_2,...,x_n)$称为参数 $\theta$ 的极大似然估计值

2.3 求解似然估计值

现在我们已经列出了似然方程，问题在于如何把参数 $\theta$ 的极大似然估计值 $\bar{\theta }$求出。在大多数场合下，我们可以通过用平均对数似然方程对 $\theta$ 求导从而获得极值点，即求解

$\frac{\partial ln\bar{L}(\theta )}{\partial \theta }=0$
通过极大似然法估计参数的特点在于，它 相对于其他估计方法更为简单，收敛性质较好，并且如果假设的类条件概率模型正确，则通常能获得较好的结果，但如果假设模型出现偏差，则会导致结果较差

三、更多资源下载

微信搜索“老和山算法指南”获取更多下载链接与技术交流群

有问题可以私信博主，点赞关注的一般都会回复，一起努力，谢谢支持。