模式识别：最小错误率贝叶斯决策分类

一、引言

1.用贝叶斯决策理论分类要事先知道两个条件及要求：

①.各类的先验概率：

及特征向量的条件概率密度：

或后验概率：

②.决策分类的类别一定

2.解决的问题：

已知一定数目的样本，设计分类器，对未知样本进行分类。

3.基于样本的两步贝叶斯决策

①首先根据样本估计和

记为和

②然后用估计的概率密度设计贝叶斯分类器

前提：训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量，且有充分的训练样本

假设：当样本数N →∞时，如此得到的分类器收敛于理论上的最优解。 即满足：

→，→

4.先验概率与条件概率密度估计

①类的先验概率估计：可依靠经验或训练数据中各类出现的频率估计，交容易实现；

②类条件概率密度的估计：概率密度函数包含了一个随机变量的全部信息，估计起来比较困难。

5.概率密度估计的两种基本方法

①参数估计：根据对问题的一般性的认识，假设随机变量服从某种分布，分布函数的参数通过训练数据来估计。如：ML 估计，Bayesian估计

②非参数估计：不用模型，而只利用训练数据本身对概率密度做估计。如：Parzen窗法，kn-近邻估计法。

下面只着重介绍参数估计

二、最大似然估计与贝叶斯参数估计

1.最大似然估计基本原理

先做以下假设：

①估计的参数记为：。它是确定但未知的量（多个参数时为向量）；

②每类的样本集记作：，

其中样本都是从密度为的总体中独立抽取出来的，满足独立同分布条件；

③类条件概率密度具有某种确定的函数形式，只是其中的参数未知；

④各类样本只包含本类的分布信息，不同类别的参数是独立的，这样就可以分别对每一类单独处理。

现有以下样本：

有了以上假设，则获得以上样本的概率即出现样本中各个样本的联合概率是：

最大似然估计，通俗的理解，即为：参数为多少时观测值出现的概率最大。

最大似然估计量：

还可以定义对数似然函数：

2.最大似然估计的求解

①若待估参数为一维变量，即待估参数只有一个，其最大似然估计量就是如下微分方程的解：

或

当待估参数为多个未知参数组成的向量时，即：

求解似然函数的最大值就需要对该参数的每一维分别求导，即用下面的梯度算子：

或

3.正态分布下的最大似然估计

仅以单变量正态分布情况估计其均值与方差：

单变量正态分布如下：

从上述正太分布式可以得到：

分别对两个位置参数求偏导，得到࿱