关闭

机器学习笔记-K-means算法

标签: pythonk-meansmeachine learning
694人阅读 评论(0) 收藏 举报
分类:

写个python小程序复习一遍K-means算法,算法本身思想很简单,下面这篇文章介绍的很详细。http://home.deib.polimi.it/matteucc/Clustering/tutorial_html/kmeans.html

一、算法主函数

给定一个n维的向量集合points,将其划分为k个类别,采用闵氏距离作为两点之间距离的判定方法,算法参数就有三个:

1、points:向量集合

2、kcentroids:初始k个类别的质心位置的集合

3、p:闵氏距离的计算参数,1就是manhattan距离,2就是欧式距离

返回值是分好类的二维数组,行数为k,表示k个类别,每一行内的元素是int类型,表示向量数据在points中的下标,从0开始

主算法代码如下:

def alg_kmeans(points, kcentroids, p):
    assert(len(points) > 1);
    assert(len(kcentroids) > 1);
    assert(len(points[0]) == len(kcentroids[0]));

    k = len(kcentroids);
    # centroids for clusters, each centroid is a vector
    centroids = kcentroids;
    # clusters, set of point's index
    c1 = [[] for row in range(k)];
    c2 = [[] for row in range(k)];

    change = True;
    while change:
        change = False;
        # cluster once
        c2 = PointstoCluster(points, centroids, p);
        # if cluster change
        change = (cmp(c1,c2) != 0);
        # if not change, do again
        if change:
            c1 = c2;
            # recalculate cluster centroids
            centroids = RecalculateCentroids(points, centroids, c2);
    return c2;

主循环中每一轮计算,都会根据k个质心计算出分类的数据集合,将其保存在主算法中定义的二维数组c2中,c1为上一轮计算结果,c1与c2相同则表示算法结束。

二、计算函数

每一轮计算的函数参数与主函数相同,这是第二个参数质心集合是每一轮的计算结果,代码如下:

def PointstoCluster(points, kcentroids, p):
    assert(len(points) > 1);
    assert(len(kcentroids) > 1);
    assert(len(points[0]) == len(kcentroids[0]));

    k = len(kcentroids);
    clusters = [[] for i in range(k)];
    
    for i in range(len(points)):
        # cal distance to each centroid
        mindis = sys.float_info.max;
        point = points[i];
        clusteridx = -1;
        for j in range(0, k):
            dis = dis_minkowski(point, kcentroids[j], p);
            if dis < mindis:
                clusteridx = j;
                mindis = dis;
        clusters[clusteridx].append(i);

    return clusters;
函数遍历所有向量数据,每一个向量均计算与各个质心之间的距离,取最近距离质心的类别作为其归属分类。

三、质心计算函数
每一轮计算过后,都要重新计算每个分类的质心,函数需要参数参数:

1、points:同上

2、k:类别数目

3、clusters:PointstoCluster的返回值

代码如下:

def RecalculateCentroids(points, k, clusters):
    assert(len(points) > 1);
    assert(k > 1);

    dimention = len(points[0]);
    centroids = [[0 for d in range(dimention)] for row in range(k)];
    for i in range(k):
        if len(clusters[i]) == 0:
            continue;
        for d in range(0, dimention):
            centroids[i][d] = 0;
            for pidx in clusters[i]:
                centroids[i][d] += points[pidx][d];
            centroids[i][d] /= len(clusters[i]);
    return centroids;

算法较为简单,对于某一个类别内的所有数据,取其内所有向量,对每个维度取平均值。

四、效果

为验证效果,另外写了一个壳程序,维度取2(平面),p取2(欧式距离),随机生成1000个点,分为5类,结果图示如下。


代码的github地址:https://github.com/wsxwang/ML-practise.git


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:16332次
    • 积分:291
    • 等级:
    • 排名:千里之外
    • 原创:14篇
    • 转载:2篇
    • 译文:0篇
    • 评论:2条
    最新评论