一、引言
1.用贝叶斯决策理论分类要事先知道两个条件及要求:
①.各类的先验概率:
及特征向量的条件概率密度:
或后验概率:
②.决策分类的类别一定
2.解决的问题:
已知一定数目的样本,设计分类器,对未知样本进行分类。
3.基于样本的两步贝叶斯决策
①首先根据样本估计和
记为和
②然后用估计的概率密度设计贝叶斯分类器
前提:训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量,且有充分的训练样本
假设:当样本数N →∞时,如此得到的分类器收敛于理论上的最优解。 即满足:
→,→
4.先验概率与条件概率密度估计
①类的先验概率估计:可依靠经验或训练数据中各类出现的频率估计,交容易实现;
②类条件概率密度的估计:概率密度函数包含了一个随机变量的全部信息,估计起来比较困难。
5.概率密度估计的两种基本方法
①参数估计:根据对问题的一般性的认识,假设随机变量服从某种分布,分布函数的参数通过训练数据来估计。如:ML 估计,Bayesian估计
②非参数估计:不用模型,而只利用训练数据本身对概率密度做估计。如:Parzen窗法,kn-近邻估计法。
下面只着重介绍参数估计
二、最大似然估计与贝叶斯参数估计
1.最大似然估计基本原理
先做以下假设:
①估计的参数记为:。它是确定但未知的量(多个参数时为向量);
②每类的样本集记作:,
其中样本都是从密度为的总体中独立抽取出来的,满足独立同分布条件;
③类条件概率密度具有某种确定的函数形式,只是其中的参数未知;
④各类样本只包含本类的分布信息,不同类别的参数是独立的,这样就可以分别对每一类单独处理。
现有以下样本:
有了以上假设,则获得以上样本的概率即出现样本中各个样本的联合概率是:
最大似然估计,通俗的理解,即为:参数为多少时观测值出现的概率最大。
最大似然估计量:
还可以定义对数似然函数:
2.最大似然估计的求解
①若待估参数为一维变量,即待估参数只有一个,其最大似然估计量就是如下微分方程的解:
或
当待估参数为多个未知参数组成的向量时,即:
求解似然函数的最大值就需要对该参数的每一维分别求导,即用下面的梯度算子:
或
3.正态分布下的最大似然估计
仅以单变量正态分布情况估计其均值与方差:
单变量正态分布如下:
从上述正太分布式可以得到:
分别对两个位置参数求偏导,得到