【层次聚类】python scipy实现

层次聚类

原理

有一个讲得很清楚的博客：博客地址
主要用于：没有groundtruth，且不知道要分几类的情况

用scipy模块实现聚类

参考函数说明：
pdist
squareform
linkage
fcluster

1. scipy.spatial.distance.pdist：计算点之间的距离，返回的是一个压缩过的距离矩阵，即一行距离数据，减少了方阵中数据重复占用的空间。
   
2. scipy.spatial.distance.squareform：距离矩阵的方阵与压缩矩阵相互转换函数
   
3. scipy.cluster.hierarchy.linkage：层次聚类函数，返回一个四列的数据，第一和第二列是该次聚合的类序号，第三列是这两类间聚类，第四列是该类中包含多少元素数据
   
4. scipy.cluster.hierarchy.fcluster：根据指定阈值和linkage生成的聚类树得到最终的聚类结果。

例： 已有距离矩阵，进行层次聚类

import scipy
import scipy.cluster.hierarchy as sch
import numpy as np
import msgpack

# 读取距离矩阵
f = open("distance.msgpack", "r")
dis = msgpack.loads(f.read())
dis_arr = np.array(dis)

# 压缩距离矩阵
disMat = scipy.spatial.distance.squareform(dis_arr)

# 生成聚类树
Z=sch.linkage(disMat,method='average')
print Z

# 得到聚类结果
cluster= sch.fcluster(Z, 0.2, 'distance')

print cluster