极大似然估计法的理解

极大似然估计法

1 前言

这几天在研究机器学习的过程中，经常见到极大似然估计法，这个方法似乎运用十分广泛，因此在网上找了一些资源，特此整合，以便自己经常翻阅。

2 原理和方法

网上给出了两个经典例子：
1一位老猎人和一个学徒出去打猎，猎捕到了一只野兔，那么是谁打死的。
2两个箱子，一个箱子有90个白球，10个黑球，另一个箱子有90个黑球，10个白球，抽出一个白球，那么是从哪个箱子抽出来的。
针对以上两个问题，按照经验我们都会觉得对于第一个问题的答案很有可能是老猎人打死的，因为老猎人比学徒要更厉害，第二个问题的答案是从有90个白球的箱子抽出来的，因为白球更多，更容易抽出。
针对于这两个问题，从数学的方法来解读就是概率最大的事件最容易发生，一次实验出现的应该有最大的概率，也就是极大似然估计法的依据（这是参数估计的另一种方法，至于什么是参数估计我还没看，大家可以自行研究）。
极大似然估计法的数学表示就是在一次抽样中，如果得到样本值X1，X2，X3…Xn，那么对于样本的总体参数θ来说，它的估计值应该使得样本值X1,X2…Xn出现的概率最大。
针对于上述题目，有一个题目可帮大家理解.
现有一个黑箱子，里面有白球和黑球，一共一百个，现在有放回的抽取十个球，发现抽到了4个白球，6个黑球，那么估计白球黑球分别有多少个？
针对上述题目，应用极大似然估计法就是寻找参数θ，使得此次抽到的结果最大，那么此时的θ设为白球个数，则抽到白球的概率为
P = P(x=白球）= θ /100,
抽到黑球的概率为
P1 = P(x=黑球) = (1-P(x=白球)) = 1 - P
那么抽到6个白球，四个黑球的概率为：
0)
现在的问题就是确定p的值使得概率最大，首先取对数，得到

然后求导

导数为0时取得最大值，得到白球四十个，黑球六十个。
这个估计值准不准确，不一定，但是可以一个估计和评判的标注。
以下为极大似然估计法的求解步骤，这里照搬网上的一个方法。

对于泊松分布和正态分布大家可以自行推导参数，发现与定义的一致，有兴趣的可以看一下这十几张PPT,
极大似然估计法原理

3 运用

1线性回归
在线性回归模型中，误差函数我们使用的是平方和，为什么采用平方和，而不是绝对值呢，首先在线性回归模型中整体的求解方程如下:

希望可以找出参数向量w使得预测的值与真实值更加的接近，即误差最小，那么这里引进b 作为误差，注意我这里的参数b ，是误差，而不是偏移量，偏移量可以加入到w参数里面，也就是为了方便起见，还是引入ε为误差吧(因为实在没有找到其他的符号）

那么现在就是要最小化ε，在这里我们假设ε满足正态分布

，这个假设我也不太懂，就当是经验吧，现在关键点在于如何求出μ，σ使得ε最小。由此我们得到

由之前求过正态分布的极大似然估计可知，不知道的可以看如下链接：
添加链接描述
ε的概率密度为：

似然函数为：

对数函数为：

在这里陷入了迷茫因为与两个参数有关μ，σ，要是求解也能求，对两个变量进行偏导，最终得到

但是这样的话如何使得ε最小呢，其中

后来在网上看到在假设正态分布时假设为N(0,σ^2)，即假设μ=0，此时重新计算得到
似然函数为

其中的

就是误差函数ε的值，因此若要似然函数最大，则均方误差要最小，也就是当均方误差最小时，参数是样本的极大似然估计。

2贝叶斯分类
贝叶斯分类来说，很多人知道这个公式，其中B代表特征，即一个样本，A代表所属的类别，

在训练数据中通过这个公式来训练模型，对于P(B)和P(A)来说，P(A)可以通过统计计算，即某一类占总类的比例，P(B)对于所有类标记相同，因此问题就转化为了P(B|A)上，P(B|A)就是常说的类条件概率，对于B特征的每一个属性来说，现实世界中的值可能往往在训练集中没有出现过，例如在训练数据中B中的某一个属性有三个值m,n,p,然而现实世界中可能不止，比如说在训练数据中该属性出现了q，那么此时根据计算概率为0，显然是不行的，因为数据未被观测到和出现概率为零通常是不一样的。那么对于未知的数据该如何处理呢，这里我们采用极大似然估计法，
假设P(x|c),c为类别，x为特征，也就是上面的P(B|A)，假设P(x|c)可以被参数向量θ确定，这里假设某一类样本的集合为D,那么对于类别为c的参数θ对于D的似然函数就是，

其中Xi为类别为c的集合D中的样本，n为集合D的数目，通过取对数可求得对数似然函数为：

在这里假设概率密度函数满足

最终求得：

因此在离散属性情形下，可以通过这样的方式来计算类条件概率。
这是目前我所了解的应用，十分感谢一些博客对于我的学习有了很大的帮助
https://blog.csdn.net/u011508640/article/details/72815981
https://blog.csdn.net/z_x_1996/article/details/70176819
https://wenku.baidu.com/view/0d9af6aa172ded630b1cb69a.html