K-Means Clustering算法

K-Means Clustering算法

k-means聚类接受的参数输入和分级聚类算法一样,接受相同的数据行作为输入,此外它还接受一个调用者期望返回的聚类数(k)作为参数。

k-means聚类算法不同于分级聚类算法,它会预先告诉算法希望生成的聚类数量,然后算法会根据数据的结构状况来确定聚类的大小。

聚类过程

K-Means算法
图1 K-Means聚类算法示意图

在第一步中,随机生成两个聚类中心,分别是两个小黑圈;在第二步中,A和B被分配给上方的聚类中心,C、D、E被分配给下面的聚类中心;第三步中,聚类中心移至聚类所有元素的中心位置;第四步,以新的聚类中心对所有元素重新进行聚类,这时C离上方的聚类中心更近了,被分配给上面的聚类中心;第五步聚类中心再移至所有元素中心位置,这时候在聚类不会发生变化了。

import random
def kcluster(rows, distance=pearson, k=4):
    # 确定每个点的最小值与最大值
    ranges = [(min(row[i] for row in rows), max(row[i] for row in rows)) for i in range(len(rows[0]))]

    # 随机创建k个中心点
    clusters = [[random.random() * (ranges[i][1] - ranges[i][0]) + ranges[i][0] for i in range(len(rows[0]))] for
                j in range(k)]

    lastmatches = None
    for t in range(100):
        # 聚类次数
        print('Iteration %d' % t)
        # 每次的聚类集合都会重新清空
        bestmatches = [[] for i in range(k)]

        # 在每一行寻找距离最近的中心点
        for j in range(len(rows)):
            row = rows[j]
            bestmatche = 0
            for i in range(k):
                d = distance(clusters[i], row)
                if d < distance(clusters[bestmatche], row):
                    bestmatche = i
            bestmatches[bestmatche].append(j)

        # 如果结果与上次迭代相同,整个过程结束
        if bestmatches == lastmatches:
            break
        lastmatches = bestmatches

        # 把中心点移到其所有成员的平均数位置处
        for i in range(k):
            avrgs = [0.0] * len(rows[0])
            if len(bestmatches[i]) > 0:
                for rowid in bestmatches[i]:
                    for m in range(len(rows[rowid])):
                        avrgs[m] += rows[rowid][m]
                for j in range(len(avrgs)):
                    avrgs[j] /= len(bestmatches[i])
                clusters[i] = avrgs
    return bestmatches

与分级聚类相比,该算法产生最终结果所需的迭代次数是非常少的,由于函数选用随机数来生成中心点进行聚类,那么可以想象其实每次聚类所产生的顺序几乎是不同的,根据中心点位置的不同,最终聚类所包含的内容可能也会有所不同。

针对博客数据(数据来源:blogdata.txt在chapter3文件夹中)进行K-Means聚类。

K-Means聚类结果
图2 K-Means聚类结果示意图

kclust中应该包含了代表聚类的ID序列


参考文献

[1].集体编程智慧. Toby Segaran 著,莫映、王开福译

本程序是在python中完成,基于sklearn.cluster中的k-means聚类包来实现数据的聚类,对于里面使用的数据格式如下:(注意更改程序中的相关参数) 138 0 124 1 127 2 129 3 119 4 127 5 124 6 120 7 123 8 147 9 188 10 212 11 229 12 240 13 240 14 241 15 240 16 242 17 174 18 130 19 132 20 119 21 48 22 37 23 49 0 42 1 34 2 26 3 20 4 21 5 23 6 13 7 19 8 18 9 36 10 25 11 20 12 19 13 19 14 5 15 29 16 22 17 13 18 46 19 15 20 8 21 33 22 41 23 69 0 56 1 49 2 40 3 52 4 62 5 54 6 32 7 38 8 44 9 55 10 70 11 74 12 105 13 107 14 56 15 55 16 65 17 100 18 195 19 136 20 87 21 64 22 77 23 61 0 53 1 47 2 33 3 34 4 28 5 41 6 40 7 38 8 33 9 26 10 31 11 31 12 13 13 17 14 17 15 25 16 17 17 17 18 14 19 16 20 17 21 29 22 44 23 37 0 32 1 34 2 26 3 23 4 25 5 25 6 27 7 30 8 25 9 17 10 12 11 12 12 12 13 7 14 6 15 6 16 12 17 12 18 39 19 34 20 32 21 34 22 35 23 33 0 57 1 81 2 77 3 68 4 61 5 60 6 56 7 67 8 102 9 89 10 62 11 57 12 57 13 64 14 62 15 69 16 81 17 77 18 64 19 62 20 79 21 75 22 57 23 73 0 88 1 75 2 70 3 77 4 73 5 72 6 76 7 76 8 74 9 98 10 90 11 90 12 85 13 79 14 79 15 88 16 88 17 81 18 84 19 89 20 79 21 68 22 55 23 63 0 62 1 58 2 58 3 56 4 60 5 56 6 56 7 58 8 56 9 65 10 61 11 60 12 60 13 61 14 65 15 55 16 56 17 61 18 64 19 69 20 83 21 87 22 84 23 41 0 35 1 38 2 45 3 44 4 49 5 55 6 47 7 47 8 29 9 14 10 12 11 4 12 10 13 9 14 7 15 7 16 11 17 12 18 14 19 22 20 29 21 23 22 33 23 34 0 38 1 38 2 37 3 37 4 34 5 24 6 47 7 70 8 41 9 6 10 23 11 4 12 15 13 3 14 28 15 17 16 31 17 39 18 42 19 54 20 47 21 68 22
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值