机器学习-聚类(层次聚类算法)

一，介绍

层次聚类试图在不同层次对数据集进行划分。划分方式可以采用“自底向上”的聚合策略，也可以采用“自顶向下”的分拆策略。

我们在这里介绍其中一种：AGNES算法。这是一种自底向上的层次类聚算法。先将每个样本都看成一个初始聚类簇，然后每次算法找出最近的两个聚类簇进行合并，不断重复直到达到设定个数。

算法流程如下：

（1）初始化聚类簇、聚类个数，距离矩阵；

（2）找出距离最近的两个聚类进行合并；

（3）达到预设值分类完毕，否则继续第二步操作

二，代码实现

数据

0.697   0.46
0.774  0.376
0.634  0.264
0.608  0.318
0.556  0.215
0.403  0.237
0.481  0.149
0.437  0.211
0.666  0.091
0.243  0.267
0.245  0.057
0.343  0.099
0.639  0.161
0.657  0.198
0.36   0.37
0.593  0.042
0.719  0.103
0.359  0.188
0.339  0.241
0.282  0.257
0.748  0.232
0.714  0.346
0.483  0.312
0.478  0.437
0.525  0.369
0.751  0.489
0.532  0.472
0.473  0.376
0.725  0.445
0.446  0.459

python代码：

import numpy as np
import math
import matplotlib.pyplot as plt

# 读取数据
def loadDataSet(filename):
    fr = open(filename)
    numberOfLines = len(fr.readlines())
    returnMat = np.zeros((numberOfLines, 2))
    classLabelVector = ['密度','含糖率']
    fr = open(filename)
    index = 0
    for line in fr.readlines():
        line = line.strip().split('\t')
        returnMat[index, :] = line[0:2]
        index += 1
    return returnMat, classLabelVector

# 计算欧氏距离
def dist(a, b):
    return math.sqrt(np.power(a - b, 2).sum())

# 最小距离
def dist_min(Ci, Cj):
    return min(dist(i, j) for i in Ci for j in Cj)

# 最大距离
def dist_max(Ci, Cj):
    return max(dist(i, j) for i in Ci for j in Cj)

# 平均距离
def dist_avg(Ci, Cj):
    return sum(dist(i, j) for i in Ci for j in Cj)/(len(Ci)*len(Cj))

#找到距离最小的下标
def find_Min(M):
    min = 1000
    x = 0; y = 0
    for i in range(len(M)):
        for j in range(len(M[i])):
            if i != j and M[i][j] < min:
                min = M[i][j];x = i; y = j
    return (x, y, min)

# AGNES算法，dataSet--数据；dist计算距离算法，k--聚类个数
def AGNES(dataSet, dist, k):
    # 第一步，初始化聚类簇cluster和距离矩阵M
    cluster = [];M = []
    for i in dataSet:
        Ci = []
        Ci.append(i)
        cluster.append(Ci)
    for i in cluster:
        Mi = []
        for j in cluster:
            Mi.append(dist(i, j))
        M.append(Mi)
    q = len(dataSet)
    while q > k:
        x, y, min = find_Min(M)   # 第二步，找出距离最近的两个聚类合并
        cluster[x].extend(cluster[y])
        del cluster[y]
        M = []
        for i in cluster:
            Mi = []
            for j in cluster:
                Mi.append(dist(i, j))
            M.append(Mi)
        q -= 1
    return cluster  # 第三步，完成分类的聚类簇

def plotFeature(C):
    colValue = ['r', 'y', 'g', 'b', 'c', 'k', 'm']
    for i in range(len(C)):
        coo_X = []    #x坐标列表
        coo_Y = []    #y坐标列表
        for j in range(len(C[i])):
            coo_X.append(C[i][j][0])
            coo_Y.append(C[i][j][1])
        plt.scatter(coo_X, coo_Y, marker='x', color=colValue[i%len(colValue)], label=i)

    plt.legend(loc='upper right')
    plt.show()

if __name__=="__main__":
    returnMat,classLabelVector = loadDataSet('watermelon4.0.txt')
    cluster = AGNES(returnMat, dist_avg, 3)
    plotFeature(cluster)

结果：