贝叶斯决策理论和概率密度估计方法

贝叶斯决策理论和概率密度估计方法

这学期学习了《模式识别》这门课程，刚刚考完试，趁着考试复习的机会把模式识别的基础方法总结了一下了，这一篇的主要内容是转自Angel_Yuaner大神的博客，提供原链接整理如下。

贝叶斯决策理论

• 贝叶斯决策有两个基本要求

  • 各类别总体的概率分布是已知的
  • 待决策分类的类别数是一定的

• 贝叶斯决策时是从样本空间到决策空间的一个映射，贝叶斯决策是所有识别方法的一个基准。

• 贝叶斯决策论
  贝叶斯公式和贝叶斯决策

• 贝叶斯决策论有两种决策规则：

  1. 基于最小错误率贝叶斯决策
  2. 基于最小风险的贝叶斯决策

概率密度估计方法

贝叶斯决策中需要先验概率和类条件概率密度，因此需要进行概率密度估计。如果概率密度函数的形式已知，则为参数估计，常见的方法有：

1. 贝叶斯估计
2. 最大似然法

如果概率密度函数的形式未知的，就需要用样本把概率密度函数直接估计出来，这叫做非参数估计。最基本的方法有：

1. 直方图法、K_n邻近法、Parzen窗法

线性判别方法

线性判别主要有三个判别准则，分别是：

• Fisher准则：根据两分类样本一般类内聚集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能聚集，类间尽可能分离。这种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。
• 感知器准则函数：准则函数以使错分样本到分界面距离之和最小为原则，优点是通过错分样本提供的信息对分类器函数进行修正。

• 支持向量机：基本思想是在两类线性可分条件下，所设计的分类器界面使两类的间隔最大，基本出发点是使期望泛化风险尽可能小。

  1. Fisher线性判别
  2. 感知器
  3. SVM

统计基础知识

• 正态分布
  正态分布也称为高斯分布。客观世界中很多变量都服从或近似服从正态分布，且正态分布具有很好的数学性质，所以正态分布也是人们研究最多的分布之一。
  正态分布

• 协方差
  协方差反映了数据不同维度之间的关系，在统计分析中有重要的作用，如PCA中。
  协方差
  PCA教程

补充之中。。。