分层聚类(Hierarchical clustering)

简介

分层聚类算法试图建立一个聚类的层次结构，有两类：聚合型(agglomerative)和分裂型(divisive)。聚合法最初将每个数据点作为一个单独的聚类，然后迭代合并，直到最后的聚类中包含所有的数据点。它也被称为自下而上的方法。分裂聚类遵循自上而下的流程，从一个拥有所有数据点的单一聚类开始，迭代地将该聚类分割成更小的聚类，直到每个聚类包含一个数据点。

下图展示的便是聚合法的示意图。

• 流程

• 聚合分层聚类算法包括以下步骤：

• 计算各聚类之间的距离(初始时，每个数据点作为一个单独的聚类)。

• 根据距离函数，将相似的聚类合并成一个聚类。

• 重复上述两步，直到所有的数据点被合并成最后一个聚类。

• 常用的距离函数：

• 单联动(single-linkage): 一个类中的点和另一个类中的点的最小距离

全联动(complete-linkage): 一个类中的点和另一个类中的点的最大距离

• 平均联动(average-linkage): 一个类中的点和另一个类中的点的平均距离

• Ward法(ward): 和平均类似，只不过计算的是两个类之间的平方和。

质心(controid): 两类中质心之间的距离，对单个变量来说，就是变量的值

聚类数目

• 生成树形图之后，下一步便是决定多少个类别合适。可以考虑像Silhouette plot、Scree Plot，或一些指标如Gap stat, Dunn's index、Hubert's gamma等。

使用factoextra包直接画出WSS/silhouetee/gap stat。使用hclust的时候，factorextra包似乎会替你计算距离，因此输入数据为原始数据，而hclust函数需要自己算距离(参见fpc包自带的例子)。

p1=fviz_nbclust(df2cluster, hcut, method = "wss",hc_metric = "euclidean", hc_method = "ward.D2")
p2=fviz_nbclust(df2cluster, hcut, method = "silhouette",hc_metric = "euclidean", hc_method = "ward.D2") 
p3=fviz_nbclust(df2cluster, hcut, method = "gap_stat",hc_metric = "euclidean", hc_method = "ward.D2")

在决定好k值后，还可以画出相应的分类，比如k=5

hc.res <- eclust(df2cluster, "hclust", k = 5, hc_method = "ward.D2", graph = FALSE) 
p1=fviz_dend(hc.res, show_labels = FALSE, palette = "jco", as.ggplot = TRUE)
p2=fviz_cluster(hc.res)

• Dunn's index可以用fpc中的cluster.stats()计算，因为基于hclust，这里需要自己计算距离。

set.seed(20000)
  options(digits=3)
  face <- rFace(200,dMoNo=2,dNoEy=0,p=2)
  dface <- dist(face) # 自己计算 dist
  complete3 <- cutree(hclust(dface),3)
  cluster.stats(dface,complete3,
                alt.clustering=as.integer(attr(face,"grouping")))

顺便用这个例子验证一下factoextra的输入到底是不是原数据。

set.seed(20000)
options(digits=3)
face <- rFace(200,dMoNo=2,dNoEy=0,p=2)
dface <- dist(face) # 自己计算 dist
#输入为dface
res1=hclust(dface,method = "ward.D2")
p1=fviz_dend(res1, k=3, show_labels = FALSE, palette = "jco", as.ggplot = TRUE)+ggtitle('hclust输入为距离')


#输入为 face
res2 <- eclust(face, "hclust", hc_method = "ward.D2", graph = FALSE) 
p2=fviz_dend(res2, k=3, show_labels = FALSE, palette = "jco", as.ggplot = TRUE)+ggtitle('factoextra输入为原数据')
grid.arrange(p1,p2,ncol=1)

其它

优点

• 不一定需要指定聚类的数量。

• 像k-means一样，分层聚类算法很容易实现。

• 它可以输出聚类树（dendrogram）的层次结构，这可以帮助决定聚类的数量。

缺点

• 分层聚类的主要缺点是其时间复杂性。与其他算法相比，它的复杂度相对较高，为O(n² logn)，n为数据点的数量。

• 一个聚类被创建，成员数据点就不能被移动。(与此相对的是一批soft clustering算法）

• 根据距离矩阵的选择，它可能对噪音和异常值很敏感。

hclust最常见的运用可能还是在各种heatmap中展示聚类的情况。

heatmap/pheatmap/aheatmap等自带聚类的作图工具都使用了hclust的聚类方法，比如aheatmap和pheatmap中的complete指的就是hclust中的complete-linkage

参考

https://medium.com/geekculture/hierarchical-clustering-simply-explained-f86b9ed96db7

https://www.datacamp.com/tutorial/hierarchical-clustering-R