特征选择（四）-分散度

度量类别可分离性的量主要有：

欧氏距离（正态分布，协方差相等，且为单位阵）

是最简单的一种描述方法。它把两个类别中心之间的欧式距离作为两个不同类别间不相似性的度量。

马氏（Mahalanobis）距离（正态分布，协方差相等）

它用来描述两个具有相同的协方差矩阵C，不同的期望值和的类别之间的不相似性，具体表达式是：

Mahalanobis距离

                              

巴氏（Bhattacharyya）距离（正态分布，协方差不等）

它描述了两个协方差矩阵和期望值都不相同的类别之间的不相似性：

Bhattacharyya距离

本节介绍分散度（广义距离），之所以是广义距离，因为其不满足三角不等式。

设有未知模式x，可能来自第i类，也可能来自第j类，并且概率密度分布分别为：

在贝叶斯决策中，对数似然比是用来决定最后分类的指标

绘制似然比的密度函数可见，如果密度函数期望值相隔越远，分类器效果会更好。

如图1所示。

图1

因此可以用两个期望值之差来表示两个类别间的差异：

这就是分散度的定义了。

 

正态分布下的分散度公式

在两个类别都具有正态分布时，分散度可以有明确的表达式，概率密度分别为：