模式识别—贝叶斯决策理论

绪论

模式的两个层次：样本、类别

模式的表示：两个

识别对象的表示：选择特征来对所识别的对象进行表示，特征选择的好坏对识别对象的难度有很大影响。

每个对象可选择多个特征来表示，这些特征用一个特征向量来表示，特征向量所在的空间为特征空间（线性空间、欧式空间）

分类器的表示：

类别模型：

判别模型：

决策面：分类面、

特征空间

特征空间：
每个样本都是特征空间中的一个点，容易计算样本之间的距离/也叫做相似度

欧式空间的特性：坐标系不变性（什么意思？）

符合三角定理：三个点形成一个三角形，边为两点之间的距离，两边之和大于第三边

特征空间中的分类： 利用决策面将特征空间进行划分，每一个子空间代表一个类别。

泛化性能： 利用训练数据集训练好的模型去分类其他的样本，分类的正确率高说明泛化性好。也就是这个模型的性能不依赖于训练样本。

第二章 贝叶斯决策理论

统计学习识别方法

1.生成模型：基于概率密度估计（贝叶斯估计）

2.判别模型：基于判别函数

概率密度函数（条件概率）

$$P(X|{\omega }_i)=\frac{P(X{\omega }_i)}{P({\omega }_i)}$$

表示样本X在某一类别${\omega }_i$中出现的概率，该样本也可能出现在其它的类别中。叫做条件概率，就是因为是在特定类别这个条件下出现的概率。

后验概率

$$P({\omega }_i|X)=\frac{P(X|{\omega }_i)P({\omega }_i)}{P(X)}=\frac{P(X|{\omega }_i)P({\omega }_i)}{{\sum }_{j=1}^{c}P(X|{\omega }_j)P({\omega }_j)}$$

$$\sum _{i=1}^{c}P({\omega }_i|X)=1$$

$P(X)$表示样本X在所有类别中出现的概率之和
最大