NMI计算

介绍：

• NMI(Normalized Mutual Information)， 标准化互信息。常用于聚类，度量 聚类结果 与 数据集真实情况 的相似度。
• NMI的值∈[0, 1]。值越大，说明聚类结果与数据集真实情况的相似度越大，聚类结果越好。如果算法结果很差则NMI值接近0。

举例：假设对于17个样本点$(v1,v2,...,v17)$进行聚类：
A=[1 2 1 1 1 1 1 2 2 2 2 3 1 1 3 3 3] # A 为某一种算法得到聚类结果，其中：len(A)=17、unique(A)=[1 2 3]
B=[1 1 1 1 1 1 2 2 2 2 2 2 3 3 3 3 3] # B 为样本真实的标签，其中：len(B)=17、unique(B)=[1 2 3]

标准化互信息：$$NMI(X,Y)=\frac{2MI(X,Y)}{H(X)+H(Y)}$$
其中：$$MI(X,Y)=\sum _{i=1}^{|X|}\sum _{j=1}^{|Y|}P(i,j)log(\frac{P(i,j)}{P(i)P^{\prime }(j)})$$

$$H(X)=-\sum _{i=1}^{|X|}P(i)log(P(i));H(Y)=-$$