层次聚类——自底向上方法

直观认识
假设数据集$D=\{a, b, c, d, e\}$, 在D上运行自底向上的层次聚类算法的过程如下图所示：

得到一颗树：

在树中，由同一个根结点分支出去的所有后代节点属于同一个聚类。

算法
自定向上的层次聚类算法伪代码如下：

伪代码中需要详细说明的是计算两个聚类之间距离的方式。这里有四种方式：
最小距离：$dist_{min}(C_i, C_j) = min_{p \in C_i, p' \in C_j }\{|p - p'|\}$
最大距离：$dist_{max}(C_i, C_j) = max_{p \in C_i, p' \in C_j }\{|p - p'|\}$
均值距离：$dist_{mean}(C_i, C_j) = |m_i - m_j|$
平均距离：$dist_{avg}(C_i, C_j) = \frac{1}{n_in_j}\sum_{p \in C_i, p' \in C_j }|p - p'|$
其中，$|p - p'|$是两个对象p和p’之间的距离，$m_i$是聚类$C_i$的均值，$n_i$是聚类$C_i$中对象的数据。
这些距离度量方式又称为连接度量，其中，最小距离成为单连接度量，最大距离称为全连接度量，平均距离称为平均连接度量。

参考资料：
《Web数据挖掘》第2版，Bing Liu 著， 俞勇 译
《数据挖掘概念与技术》第3版，Jiawei Han，Micheline Kamber，Jian Pei 著，范明，孟小峰 译