评价聚类结果之entropy(熵值)和purity(纯度)

使用k-means算法对数据进行聚类之后,通常需要验证一下聚类的效果。常用的验证方法包括entropy、purity、precious、F-measure、Recall,本文只介绍entropy和purity算法。


Entropy:

对于一个聚类i,首先计算指的是聚类 i 中的成员(member)属于类(class)j 的概率,。其中是在聚类 i 中所有成员的个数,是聚类 i 中的成员属于类 j 的个数。每个聚类的entropy可以表示为,其中L是类(class)的个数。整个聚类划分的entropy为,其中K是聚类(cluster)的数目,m是整个聚类划分所涉及到的成员个数。




Purity:

使用上述Entropy中的定义,我们将聚类 i 的purity定义为。整个聚类划分的purity为其中K是聚类(cluster)的数目,m是整个聚类划分所涉及到的成员个数。


下表是对取自洛杉矶时报的3204篇文章进行的k-means划分的结果,共分为6个cluster。这些文章取自娱乐、金融等六个类别。理想情况下每个cluster只含有某一特定类别的文章。其中,cluster 3 与体育类别吻合的比较好,所以其entropy很低,purity很高。



entropy和purity的核心代码(Python version)如下:

e_i = [0 for x in range(0,6)]
p_i = [0 for x in range(0,6)]
for i in range(0,cluster_num):
	wr_line_part = ","
	for j in range(0,6):
		wr_line_part += str(M_aggregate[i][j]) + ','
		p_i_j = M_aggregate[i][j]*1.0/m_i[i]  + 0.00000001
		print (p_i_j)
		e_i[i] += 0 - p_i_j*math.log2(p_i_j)
		if (p_i[i] < p_i_j):
			p_i[i] = p_i_j
	print (e_i[i])
	print (p_i[i])
	
e = 0
p = 0			
for i in range(0,6):
	e += m_i[i]/m*e_i[i]
	p += m_i[i]/m*p_i[i]


Purity是一种用于评估聚类结果的评价指标,它衡量了聚类结果中被正确分配到同一簇的样本所占比例。下面是Purity指标的计算公式、MATLAB程序示例和一个案例说明: Purity的计算公式如下: Purity = Σ(max(T_k)) / N 其中,Σ表示对所有簇进行求和,max(T_k)表示簇k中出现最多的类别T的样本数,N表示样本的总数。 MATLAB程序: 以下是一个计算聚类结果Purity指标的MATLAB程序示例: ```matlab % 真实标签 true_labels = [1, 1, 2, 2, 2, 3, 3, 4, 4, 4]; % 聚类结果 cluster_result = [1, 1, 2, 2, 2, 3, 3, 4, 4, 4]; % 计算聚类结果的Purity指标 n_samples = numel(true_labels); n_clusters = max(cluster_result); purity = 0; for k = 1:n_clusters cluster_indices = find(cluster_result == k); cluster_labels = true_labels(cluster_indices); unique_labels = unique(cluster_labels); max_count = 0; for j = 1:numel(unique_labels) label_count = sum(cluster_labels == unique_labels(j)); if label_count > max_count max_count = label_count; end end purity = purity + max_count; end purity = purity / n_samples; disp(['Purity Score: ', num2str(purity)]); ``` 上述程序首先定义了真实标签 `true_labels` 和聚类结果 `cluster_result`。通过迭代计算每个簇中出现最多的类别的样本数,并将其累加得到总的Purity得分。 案例说明: 假设有一组10个样本,它们的真实标签为[1, 1, 2, 2, 2, 3, 3, 4, 4, 4],聚类结果为[1, 1, 2, 2, 2, 3, 3, 4, 4, 4]。通过计算上述MATLAB程序中的Purity指标,可以得到Purity得分为1,表示聚类结果中所有样本都被正确分配到了同一簇。 希望以上信息对您有所帮助。如果您有任何其他问题,请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值