7.2 极大似然估计

7.2 极大似然估计

​ 估计类条件概率的一种常用策略是先假设其具有某种确定的概率分布形式，然后再基于训练样本对概率分布的参数进行估计，具体的说，记关于类别C的类条件概率为P（X|C），假设P（X|C）具有确定的形式并且被参数向量 的θ 唯一确定，则我们的任务就是利用训练集 D估计参数 θ 。为了明确起见，我们将 P（X|C）记做是 P（X|θ ）

​ 事实上，概率模型的训练过程就是参数估计的过程，对于参数估计，统计学界的两个学派分别提供了两种不同的解决方案，频率主义学派认为参数虽然是未知的，但是确实客观存在的，因此，可以通过优化似然函数等准则来确定参数值；

贝叶斯学派则认为参数是未观察到随机变量，其分布也可以有分布，因此，可以假设参数服从一个先验分布，然后基于观察到的数据来计算参数的后验分布。本节介绍源于频率主义学派的极大似然估计，这是根据数据的采样估计概率分布参数的经典方法。

​ Dc表示训练集D中第c类样本组成的集合，假设这些样本是独立同分布的，则参数θ对于数据集的似然是P（D|Θ）=乘积 P（X| Θ）。

​ 对Θ进行极大似然估计，就是去寻找能够最大化似然 P（D|Θ）的参数 Θ，直观上来看，极大似然估计就是在Θ所有可能的去之中，找到一个能够使得数据出现的可能性最大的数值。

​ 连乘操作容易造成下溢，通常使用对数似然

​ 例如，在连续属性的情形下，假设概率密度函数 P（X|C） ~ N（ X，d^2)，则参数X和d的极大似然估计就是

​ 也就是说，通过极大似然法得到的正态分布均值就是样本的均值，方差就是（X-a）（X-a）T的均值，这是一个符合直觉的结果，在离散属性的情形下，也可以通过类似的方法估计类条件概率。

​ 需要注意的是，这种参数化的方法虽然能够使得类条件概率估计变得相对的简单，但是估计结果的准确性严重的依赖于所假设的概率分布形式是否符合潜在的真实数据分布。在现实的生活中，想要做出能够较好的接近潜在真是分布的假设，往往需要在一档程度上利用关于应用任务本身的经验知识。如果仅仅是凭借着猜测来假设概率的分布形式，则可能会产生误导性的结果。