K-means聚类算法

K-means聚类算法

1、K-means聚类算法有什么用
2、聚类的概念
3、K-means算法意思
4、算法伪代码
5、优缺点
6、代码+结果
7、优化
8、数据

 

1、  用于分类，但与之前的分类算法又不同，之前是给定已经分好组的数据进行操作，对训练集分类，而现在的分类则是对一组未知的组别的数据进行分组，比如给你一些花，要求是将这些花分为4类，花的特征（花瓣数目，花瓣大小，花萼数目等等），然后就用到了现在的算法。

2、  聚类是一种无监督的学习，他将相似的对象归到同一簇中，有点像全自动分类，聚类方法几乎可以应用于所有对象，簇内的对象越相似，聚类的效果越好。

3、  K-means（k均值）是发现给定数据集的k个簇的算法，簇的个数k是用户给定的，每一个簇通过其质心即簇中所有的中心描述

4、  算法伪代码

创建k个点做为初始质心（经常是随机选择的）

当任意一个点的簇分配结果发生改变时

           对数据集中的每一个数据点

                    对每一个质心

                             计算质心与数据点的距离

                    将数据点分配到距其最近的簇

           对每一个簇，计算簇中所有点的均值将均值为质心

5、  优点：容易实现

缺点：k值的不确定性，结果比较依赖随机的初始点，可能做到局部最小值，在大规模数据集上收敛较慢。

6、代码：

# coding=utf-8 

from numpy import *
import numpy as np
import pylab as pl
#处理数据
def loadDateSet():
    dataMat = [];
    file = open(r'C:\Users\l\Desktop\testSet.txt', 'r+');
    for line in file.readlines():
        cline = line.strip().split('\t')
        rline = map(float,cline)
        dataMat.append(rline)
    x, y = shape(dataMat)
    data = np.zeros((x, y+1))
    data[:, :-1] = mat(dataMat)
    #print data
    return data

#获得中点
def getCentroids(dataMat, k):
    x,y = shape(dataMat)
    centroids = dataMat[np.random.randint(x, size = k)]
    centroids[:,-1] = range(1, k+1)
    return centroids

#终止条件
def judgeStop(centroids, oldcentroids,sum, n):
    if(sum > n):
        return True
    return np.array_equal(centroids, oldcentroids)

#Kmeans算法
def Kmeans(dataMat, centroids, k, n):
    sum = 0
    oldcentroids = None
    x, y = shape(dataMat)
    while not judgeStop(centroids, oldcentroids,sum, n):
        new = centroids;
        for i in range(0, x):
            dataMat[i, -1] = update(dataMat[i], centroids)
        centroids = updatecentroids(dataMat ,k)
        oldcentroids = new
        sum+=1
    #print dataMat
    return dataMat

#更新分类
def update(dataMatRow, centroids):
    #先将这一点分到1中
    Label = centroids[0, -1]
    #最小距离为到第一类中点的距离
    #np.linalg.norm为直接计算两个点的欧氏距离
    minLen = np.linalg.norm(dataMatRow[:-1] - centroids[0, :-1])
    x = shape(centroids)[0]
    for i in range(1, x):
        len = np.linalg.norm(dataMatRow[:-1] - centroids[i, :-1])
        if(len < minLen):
            minLen = len
            Label = centroids[i, -1]
    return Label

#更新类别中点
def updatecentroids(dataMat ,k):
    result = np.zeros((k, shape(dataMat)[1]))
    for i in range(1, k+1):
        #将同一类别分到同一矩阵
        onecluster = dataMat[dataMat[:, -1]==i, :-1]
        #np.mean是用来求平均，axis的参数为0是一列求平均，结果是一行；为1是一行的求平均，结果是一列
        result[i-1, :-1] = np.mean(onecluster, axis=0)
        result[i-1, -1] = i
    return result

def show(datamat, k):
    for i in range(1, k+1):
        pl.plot(datamat[datamat[:, -1]==i,0], datamat[datamat[:, -1]==i,1], 'o')
    pl.show()

def main():
    k = 4
    n = 1000
    dataMat = loadDateSet()
    centroids = getCentroids(dataMat, k)
    datamat = Kmeans(dataMat, centroids, k, n)
    show(datamat, k)

if __name__ == '__main__':
    main();

随机1

随机2

随机3

由此看出有很大的随机性，但是大多数为1,2两种

7、二分K-均值聚类算法

         首先将所有点作为一个簇，然后将该簇一分为二，之后选择其中一个簇继续进行划分，选择哪一个簇进行划分取决于对其划分是否可以最大程度的降低误差平方和SSE。基于SSE的划分过程不断重复，直到得到用户指定的簇为止

8、数据：

1.658985 4.285136
-3.453687 3.424321
4.838138 -1.151539
-5.379713 -3.362104
0.972564 2.924086
-3.567919 1.531611
0.450614 -3.302219
-3.487105 -1.724432
2.668759 1.594842
-3.156485 3.191137
3.165506 -3.999838
-2.786837 -3.099354
4.208187 2.984927
-2.123337 2.943366
0.704199 -0.479481
-0.392370 -3.963704
2.831667 1.574018
-0.790153 3.343144
2.943496 -3.357075
-3.195883 -2.283926
2.336445 2.875106
-1.786345 2.554248
2.190101 -1.906020
-3.403367 -2.778288
1.778124 3.880832
-1.688346 2.230267
2.592976 -2.054368
-4.007257 -3.207066
2.257734 3.387564
-2.679011 0.785119
0.939512 -4.023563
-3.674424 -2.261084
2.046259 2.735279
-3.189470 1.780269
4.372646 -0.822248
-2.579316 -3.497576
1.889034 5.190400
-0.798747 2.185588
2.836520 -2.658556
-3.837877 -3.253815
2.096701 3.886007
-2.709034 2.923887
3.367037 -3.184789
-2.121479 -4.232586
2.329546 3.179764
-3.284816 3.273099
3.091414 -3.815232
-3.762093 -2.432191
3.542056 2.778832
-1.736822 4.241041
2.127073 -2.983680
-4.323818 -3.938116
3.792121 5.135768
-4.786473 3.358547
2.624081 -3.260715
-4.009299 -2.978115
2.493525 1.963710
-2.513661 2.642162
1.864375 -3.176309
-3.171184 -3.572452
2.894220 2.489128
-2.562539 2.884438
3.491078 -3.947487
-2.565729 -2.012114
3.332948 3.983102
-1.616805 3.573188
2.280615 -2.559444
-2.651229 -3.103198
2.321395 3.154987
-1.685703 2.939697
3.031012 -3.620252
-4.599622 -2.185829
4.196223 1.126677
-2.133863 3.093686
4.668892 -2.562705
-2.793241 -2.149706
2.884105 3.043438
-2.967647 2.848696
4.479332 -1.764772
-4.905566 -2.911070