特征选择（四）-分散度

最新推荐文章于 2022-04-22 14:45:43 发布

VIP文章 ycheng_sjtu

最新推荐文章于 2022-04-22 14:45:43 发布

阅读量8.1k

点赞数 1

分类专栏：模式识别模式识别文章标签：特征选择分散度分类器正态分布模式识别

本文链接：https://blog.csdn.net/ycheng_sjtu/article/details/25568011

版权

度量类别可分离性的量主要有：

欧氏距离（正态分布，协方差相等，且为单位阵）

是最简单的一种描述方法。它把两个类别中心之间的欧式距离作为两个不同类别间不相似性的度量。

马氏（Mahalanobis）距离（正态分布，协方差相等）

它用来描述两个具有相同的协方差矩阵C，不同的期望值 ${m_1}$ 和的 ${m_2}$ 类别之间的不相似性，具体表达式是：

Mahalanobis距离

${({m_2} - {m_1})^T}{C^{ - 1}}({m_2} - {m_1})$

巴氏（Bhattacharyya）距离（正态分布，协方差不等）

它描述了两个协方差矩阵和期望值都不相同的类别之间的不相似性：

Bhattacharyya距离

$\frac{1}{8}{({m_2} - {m_1})^T}{\left[ {\frac{{{C_1} + {C_2}}}{2}} \right]^{ - 1}}({m_2} - {m_1}) + \frac{1}{2}\ln \frac{{\left| {\frac{1}{2}({C_1} + {C_2})} \right|}}{{{{\left| {{C_1}} \right|}^{\frac{1}{2}}}{{\left| {{C_2}} \right|}^{\frac{1}{2}}}}}$

本节介绍分散度（广义距离），之所以是广义距离，因为其不满足三角不等式。

设有未知模式x，可能来自第i类，也可能来自第j类，并且概率密度分布分别为：

$\begin{array}{l}{P_i}(x) = P(x|{\omega _i})\\{P_j}(x) = P(x|{\omega _j})\end{array}$

在贝叶斯决策中，对数似然比是用来决定最后分类的指标

${u_{ij}}(x) = \ln \frac{{{P_j}(x)}}{{{P_i}(x)}}$

绘制似然比的密度函数可见，如果密度函数期望值相隔越远，分类器效果会更好。

如图1所示。

图1

因此可以用两个期望值之差来表示两个类别间的差异：

$\begin{array}{l}E({u_{ij}}|{\omega _i}) - E({u_{ij}}|{\omega _j}) = E(\ln \frac{{{P_i}(x)}}{{{P_j}(x)}}|{\omega _i}) - E(\ln \frac{{{P_j}(x)}}{{{P_i}(x)}}|{\omega _j})\\ = \int_x {{P_i}(x)} \ln \frac{{{P_i}(x)}}{{{P_j}(x)}}dx - \int_x {{P_j}(x)} \ln \frac{{{P_j}(x)}}{{{P_i}(x)}}dx\\ = \int_x {[{P_i}(x) - {P_j}(x)]} \ln \frac{{{P_i}(x)}}{{{P_j}(x)}}dx\\{\rm{ = }}{J_{ij}}\end{array}$

这就是分散度的定义了。

正态分布下的分散度公式

在两个类别都具有正态分布时，分散度可以有明确的表达式，概率密度分别为：

最低0.47元/天解锁文章

ycheng_sjtu

关注

1
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
特征选择（四）-分散度

度量类别可分离性的量主要有：欧氏距离（正态分布，协方差相等，且为单位阵）是最简单的一种描述方法。它把两个类别中心之间的欧式距离作为两个不同类别间不相似性的度量。马氏（Mahalanobis）距离（正态分布，协方差相等）它用来描述两个具有相同的协方差矩阵C，不同的期望值和的类别之间的不相似性，具体表达式是：Mahalanobis距离
复制链接

扫一扫