机器学习——不同对象之间的相似性度量

机器学习中，常常需要估算不同对象之间的相似性度量(Similarity Measurement)，我们通常采用的方法就是计算对象之间的“距离”(Distance)。对于不同的对象，采用的方法也是需要考虑的。本文主要列举集合、字符串和概率分布这三个对象下的相似性度量。希望对你了解估算相似度量有一个简单的理解。

1、度量两个集合之间的相似性
杰卡德相似系数是衡量两个集合相似度的一种指标。两个集合A和B的交集元素在A，B的并集中所占的比例，称为两个集合的杰卡德相似系数，用符号J(A,B)表示，公式如下：

2、度量两个字符串之间的相似性
Levenshtein距离是一种计算两个字符串间的差异程度的字符串度量（string metric）。我们可以认为Levenshtein距离就是从一个字符串修改到另一个字符串时，其中编辑单个字符（如修改、插入、删除）所需要的最少次数。是由俄罗斯科学家Vladimir Levenshtein于1965年提出了这一概念。
Eg :
String s1 , s2 ;
s1=a b c d e
s2=a b d d e
从s1修改到s2只需要一次单字符操作，所以Levenshtein距离为3。

3、度量两个概率分布的相似性
Kullback-Leibler Divergence （KL 散度），是用来衡量两个概率分布相似性的一个度量指标。现实世界中的任何观察都可以表示成信息和数据。一般来说，我们无法获取数据的总体，只能拿到数据的部分样本，根据数据的部分样本，我们会对数据的整体做一个近似的估计，那么近似估计的概率分布和数据整体真实的概率分布的相似度或者说差异程度，可以用 KL 散度来表示。
我们定义 KL 散度为：

或者表示成下面这种形式：

DKL(p||q) 表示的就是概率 q 与概率 p 之间的差异，很显然，散度越小，说明概率 q 与概率 p 之间越接近，那么估计的概率分布于真实的概率分布也就越接近。

Eg : 现有三个样本的概率分布如下：
P={0.3 , 0.3 , 0.4}
Q1={0.3 , 0.4 , 0.3}
Q2={0.3 , 0.1 , 0.6}
比较P与Q1、Q2谁更接近，显然通过计算P与Q1相似度更近。

说明：
1’KL值为零时代表无差异；
2’两概率分布的维度必须相同，否则无意义。