人工智能科普｜极大似然估计——机器学习重要知识点

https://www.toutiao.com/a6649579620909711879/

 

2019-01-23 14:45:03

经常有许多对人工智能领域跃跃欲试的小伙伴在后台发私信问我“怎样快速入门人工智能呢？”

对于这样的问题，我我又要“老生常谈”了——作为一门庞大而又繁杂的综合学科，学习的过程一定需要逐步理解、逐层深入。一蹴而就是不可能的。

 

 

 

 

今天就给你们讲一个在机器学习中重要的方法——极大似然估计。这是一个，能够让你拥有拟合最大盈利函数模型的估计方法哦！

现实意义

 

在机器学习中，我们经常会使用一个模型来描述生成数据的过程。

例如，我们可以使用一个随机森林模型来分类客户是否会取消订阅服务（流失建模）；又或者我们可以用线性模型，再根据公司的广告支出来预测公司的收入（线性回归）。

每个模型都包含自己的一组参数，这些参数最终决定了模型本身。也就是只有将参数选定为特定值时，才能得到描述当前现象的模型实例。

原 理

 

极大似然估计则为以上情况提供了一种给定观察数据来评估模型参数的方法，即：模型已定，参数未知。

通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

定 义

 

设整体分布为f（x,θ），X1，X2，X3···Xn为该总体采样得到的样本。因为X1，X2，X3···Xn独立同分布，于是，它们的联合密度函数为：

 

 

此时，θ被看作固定但未知的参数，而样本是已经抽取存在的，可以将X1，X2，X3···Xn看作是固定的。那么，L（x,θ）就是关于θ的函数，即似然函数。而求参数θ的值，使得似然函数取极大值的方法就是极大似然估计。

求解方法

 

对似然函数求导，得到对数似然函数。若对数似然函数可导，则可以通过求导的方式，解下列方程组，得到驻点，然后分析该驻点是极大值点：

 

 

 

称为参数

 

的极大似然估计值，其相应的统计量

 

称为

 

的极大似然估计量。极大似然估计简记为MLE或

 

。

 

 

几种常见分布的极大似然估计

 

1.二项分布

已知10次抛硬币的结果如下：

正 正 反 正 正 正 反 反 正 正

设p是抛到正面的结果的概率，则得到这一实验结果的概率为

 

 

对该式子求导，得到最优解为0.7。

2.均匀分布

设样本服从均匀分布[a, b]。则X的概率密度函数为

 

 

根据最大似然函数的公式L（x,θ），得到对于

 

 

 

 

很显然，L(a,b)作为a和b的二元函数是不连续的，这时不能用导数来求解。而必须从极大似然估计的定义出发，求L(a,b)的最大值。

为使L(a,b)达到最大，b-a应该尽可能地小，但b又不能小于

 

，否则L(a,b)=0。类似的，a不能大过

 

，因此，a和b的极大似然估计：

 

 

3.高斯分布（正态分布）

若给定一组样本X1，X2，X3···Xn，已知它们来自于高斯分布

 

，根据最大似然函数的公式L（x,θ），以及高斯分布的概率密度

 

 

将Xi的样本值xi带入，得到

 

 

进行化简

 

 

即

 

 

再对

 

求偏导，得到

 

 

可以看出，上述结论和矩估计的结果是一致的，并且意义非常直观：样本的均值及高斯分布的均值，样本的伪方差即高斯分布的方差。

该结论将在期望最大化算法、GMM高斯混合模型中继续使用。

求最大似然估计量的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数；

（4）解似然方程。

 

极大似然估计的特点

 

1.比其他估计方法更加简单；

2.收敛性：无偏或者渐近无偏，当样本数目增加时，收敛性质会更好；

最大似然估计和贝叶斯估计

听到这里，许多同学可能会想起另一种估计方法——贝叶斯估计，即以贝叶斯公式为基础的估计方法：

 

实际的模式识别问题中，我们应如何选择使用哪种模型呢？下面简单分析一下：

（1）在先验概率能保证问题有解的情况下，最大似然估计和贝叶斯估计在训练样本趋近于无穷时得到的结果是一样的。

（2）最大似然估计的计算复杂度比贝叶斯估计小得多，只需要使用到简单的微分运算即可，而在贝叶斯估计中则需要用到非常复杂的多重积分。此外，贝叶斯估计相对来说也更难理解。

（3）当采用的样本数据很有限时，贝叶斯估计误差更小，毕竟在理论上，贝叶斯估计有很强的理论和算法基础。