Bhattacharyya 距离简介



Bhattacharyya距离

在统计学中，Bhattacharyya距离（以下称巴氏距离）测量的是两个离散或连续概率分布的相似性。计算方式和Bhattacharyya系数关系很密切。两种计算方式都以A. Bhattacharyya名字命名，Bhattacharyya是一位30年代在印度统计研究所工作的统计学家。巴氏系数可用来对两组样本的相关性进行测量。这一方法常用来作分类器算法。[1]

 

数学定义

-离散概率分布

　　对于在X数域上的两个离散概率分布p和q，巴氏距离定义为[2]：

 

　　DB(p,q) = -ln(BC(p,q))

 

　　其中

 

　　BC(p,q) = ∑√p(x)q(x)

 

　　BC被称作Bhattacharyya系数（巴氏系数）

 

　　0≤BC≤1q且0≤DB≤∞

-连续概率分布

　　在连续情形中，Bhattacharyya系数如下定义：

 

　　BC(p,q) = ∫√p(x)q(x)dx

 

　　0≤BC≤1q且0≤DB≤∞

 

　　两种情形中，巴氏距离DB均不满足三角不等式

 

Bhattacharyya系数

　　Bhattacharyya系数[3]（Bhattacharyya Coefficient, 巴氏系数）是对两个统计样本的重叠量的近似计算。巴氏系数可用来对两组样本的相关性进行测量。

 

　　计算巴氏系数涉及到对该两个样本的重叠部分进行基本形式的积分。两个样本值的积分被分成指定数目的部分。而每一个样本的每一个部分的成员数被用于下式中：

 

　　Bhattacharyya = ∑{i=1|n}√(∑ai·∑bi)

 

　　其中，a,b为两个样本，n是分块数，ai, bi分别是在a, b中第i部分的成员数。

 

　　这样一来，这个式子就会随着因某块中有两个样本的公共成员而变大(两个样本越相近，计算的值越大)，也会随着某块中有一大片重叠的样本成员而变大。分块数的选定依赖于样本中的成员数量；如果分块太少会因过估了重叠区域而失去精确性，如果分块太多会因为造成空块而失去精确性。

 

　　如果两个样本完全没有重叠，巴氏系数将会等于0，因为每一个分块都将被0乘。这意味着完全分离的样本不能被巴氏系数单独测定出来。

In statistics, the Bhattacharyya distance measures the similarity of two discrete probability distributions. It is normally used to measure the separability of classes in classification.

For discrete probability distributions p and q over the same domain X, it is defined as:

 

where:

 

is the Bhattacharyya coefficient. For continuous distributions, the Bhattacharyya coefficient is defined as:

 

In either case,  and  . DB need not obey the triangle inequality, but  does obey the triangle inequality.

For multivariate Gaussian distributions pi = N(mi,Pi),

,

 

where mi and Pi are the means and covariances of the distributions, and