模式识别：最大似然估计与贝叶斯估计方法

之前学习了贝叶斯分类器的构造和使用，其中核心的部分是得到事件的先验概率并计算出后验概率 ，而事实上在实际使用中，很多时候无法得到这些完整的信息，因此我们需要使用另外一个重要的工具——参数估计。

参数估计是在已知系统模型结构时，用系统的输入和输出数据计算系统模型参数的过程。18世纪末德国数学家C.F.高斯首先提出参数估计的方法，他用最小二乘法计算天体运行的轨道。20世纪60年代，随着电子计算机的普及，参数估计有了飞速的发展。参数估计有多种方法，有最小二乘法、极大似然法、极大验后法、最小风险法和极小化极大熵法等。在一定条件下，后面三个方法都与极大似然法相同。最基本的方法是最小二乘法和极大似然法。这里使用MATLAB实现几种经典的方法并研究其估计特性。

目前理论部分尚在研究当中，无法解释得很清楚，这是一个长期的学习过程。

一、最大似然估计法

最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德•费雪爵士在 1912 年至1922 年间开始使用的。这种方法的基本思想是：当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，而不是像最小二乘估计法旨在得到使得模型能最好地拟合样本数据的参数估计量。

最大似然估计的优点主要有：
1. 随着样本数量的增加，收敛性变好；
2. 比任何其他的迭代技术都简单，适合实用。

最大四然估计的一般原理：

假设有c个类，且：

在正态分布时有：

假设数据集合D划分成的类为

我们可以将数据集合D划分成互不相交的样本子集合，每一个子集合中的样本属于同一类。对每一个数据集合Di ，单独估计自己的 ，这样只需估计其参数即可得到分布函数。

这样，假设集合D包含同一类n个样本, x1, x2,…, xn，且这些样本是独立抽样得到的，则：

P(D | θ)称为样本集合Ｄ的似然函数。参数θ 的最大似然估计是通过使定义的P(D | θ) 最大化得到的θ的值，使得实际观测到的样本集合具有最大的概率。在实际中，可以对似然函数进行对数运算，为此定义对数似然函数如下：

这样有：

其导数定义为：

（注：由于自然对数函数是单调增函数，因此对数似然函数和似然函数的极值点的位置相同！）

这里我们要寻找最优解，这是最大似然估计的基本思想。最优解的必要条件是：

若θ由p个参数组成，则上式代表p个方程组成的方程组。下一步是求取似然函数的极值点：

此时问题可以重新表述为：求对数似然函数的极值点参数θ，使对数似然函数取得最大值：

根据以上公式，在样本点服从正态分布，且均值和协方差矩阵未知的情况下，我们可以得到以下两个公式，分别计算估计均值和协方差矩阵。

二、贝叶斯估计法

在最大似然估计中，假设参数θ未知，但事实上它是确定的量。在而在贝叶斯估计法中，参数θ视为一个随机变量。后验概率P(x| D) 的计算是贝叶斯学习的最终目的，其核心问题是给定样本集合D，计算P(θ| D)。方法二和方法三就属于贝叶斯估计法。（公式的推导有待进一步研究）

离散情况：

三、估计方法的公式总结

这里假设样本点服从正态分布，且均值和协方差矩阵未知的情况下，方法一计算估计均值和协方差矩阵：