Bregman散度和马氏距离----衡量对象间相似性和相异性

在数据挖据方面，Bregman散度和马氏距离主要用于相似性相异性测度。我们需要根据各测度的优缺点和数据类型去选取合适的测度。

当然终究是越简单越好，这两个测度相对用得较少。通常我们碰到两对象的时候，根据对象数据类型不同，如标称的，序数的，比率的选取简便易行的测度，如下图：

或者，如闵可夫斯基距离：

其中r=2的时候，就是我们常用的欧氏距离，r=1的时候为曼哈顿距离。

另外还有Jaccard相似性系数，余弦相似度，相关系数，Tanimoto系数等等。

 

下面重点提下Bregman散度和马氏距离，

Bregman散度是借用一个严格凸函数φ（·），该散度D_φ（x，y）即为φ（x）和h（x）的差，其中h（x）为φ（y）在x处的线性近似。

若给定φ（z）=1/2*z²，则D_φ（x，y）=1/2*（x-y）² 。如下图：

 

当然我们也可以给定其他凸函数，这时候D_φ（x，y）也相应不同，如图：

马氏距离的公式有些复杂，它的出现克服了欧氏距离在无视属性量纲和属性相关性方面的缺陷，公式如下：

其中Σ^-1 为p，q协方差矩阵的逆。当然它的计算开销大，因此对于属性量纲不一但是不相关的对象，我们可以对属性作标准化处理后使用欧氏距离。

 

转载于:https://www.cnblogs.com/weiqiutiandao/p/4988193.html