Normalized Mutual Information归一化互信息

Normalized Mutual Information(NMI)常用在聚类中，度量2个聚类结果的相近程度。

其中I(A,B)是A,B两向量的mutual information, H(A)是A向量的信息熵。
I(A,B)=H(A)-H(A|B)=H(B)-H(B|A),这也好理解，直觉上，如果已知B的情况，A的条件熵H(B|A)相对于H(A)变小了，即不确定程度变小，那么B能提供对A有用的信息，越有用，越相近。互信息的式子是不是很眼熟？其实决策树中所言的information gain就是属性与类的互信息。information gain ratio也与NMI有些类似。
I(A,B)=H(A)+H(B)-H(A,B)>=0,而且I(A,B)的最大值在A，B完全一样时取到，此时H(A|B)=0,所以NMI(A,B)=2*H(A)/(H(A)+H(B))=1，所以NMI(A,B)在[0,1]范围。

参考：
http://www.cnblogs.com/ziqiao/archive/2011/12/13/2286273.html
http://blog.sina.com.cn/s/blog_45e6be080101dlya.html