机器学习算法-层次聚类AGNES

层次聚类方法对给定的数据集进行层次的分解，直到某种条件满足为止。具体又可分为：
凝聚的层次聚类：一种自底向上的策略，首先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到某个终结条件被满足。
分裂的层次聚类：采用自顶向下的策略，它首先将所有对象置于一个簇中，然后逐渐细分为越来越小的簇，直到达到了某个终结条件。

层次凝聚的代表是AGNES(AGglomerative NESting)算法。AGNES 算法最初将每个对象作为一个簇，然后这些簇根据某些准则被一步步地合并。两个簇间的相似度有多种不同的计算方法。聚类的合并过程反复进行直到所有的对象最终满足簇数目。

一、算法步骤

AGNES（自底向上凝聚算法）算法的具体步骤如下所示：
输入：包含$n$个对象的数据库。
输出：满足终止条件的若干个簇。
(1) 将每个对象当成一个初始簇；
(2) REPEAT
(3)     计算任意两个簇的距离，并找到最近的两个簇；
(4)     合并两个簇，生成新的簇的集合；
(5) UNTIL 终止条件得到满足。

二、距离计算

上述算法的关键在于如何计算聚类簇之间的距离？实际上每个簇是一个样本集合，因此只需要采用关于集合的某种距离即可。例如给定聚类簇$C_i$和$C_j$，两个簇的距离可以通过以下定义得到：

$$最小距离：d_{min}(C_i,C_j)=\min_{p\in C_i,q\in C_j}|p-q|.$$
$$最大距离：d_{max}(C_i,C_j)=\max_{p\in C_i,q\in C_j}|p-q|.$$

均值距离