聚类评价熵值 matlab,评价聚类结果之entropy（熵值）和purity（纯度）

使用k-means算法对数据进行聚类之后，通常需要验证一下聚类的效果。常用的验证方法包括entropy、purity、precious、F-measure、Recall，本文只介绍entropy和purity算法。

Entropy：

对于一个聚类i，首先计算

。

指的是聚类 i 中的成员(member)属于类(class)j 的概率，

。其中

是在聚类 i 中所有成员的个数，

是聚类 i 中的成员属于类 j 的个数。每个聚类的entropy可以表示为

，其中L是类(class)的个数。整个聚类划分的entropy为

，其中K是聚类(cluster)的数目，m是整个聚类划分所涉及到的成员个数。

Purity：

使用上述Entropy中的

定义，我们将聚类 i 的purity定义为

。整个聚类划分的purity为

，其中K是聚类(cluster)的数目，m是整个聚类划分所涉及到的成员个数。

下表是对取自洛杉矶时报的3204篇文章进行的k-means划分的结果，共分为6个cluster。这些文章取自娱乐、金融等六个类别。理想情况下每个cluster只含有某一特定类别的文章。其中，cluster 3 与体育类别吻合的比较好，所以其entropy很低，purity很高。

entropy和purity的核心代码(Python version)如下：

e_i = [0 for x in range(0,6)]

p_i = [0 for x in range(0,6)]

for i in range(0,cluster_num):

wr_line_part = ","

for j in range(0,6):

wr_line_part += str(M_aggregate[i][j]) + ','

p_i_j = M_aggregate[i][j]*1.0/m_i[i] + 0.00000001

print (p_i_j)

e_i[i] += 0 - p_i_j*math.log2(p_i_j)

if (p_i[i] < p_i_j):

p_i[i] = p_i_j

print (e_i[i])

print (p_i[i])

e = 0

p = 0

for i in range(0,6):

e += m_i[i]/m*e_i[i]

p += m_i[i]/m*p_i[i]