第十章 利用k-均值聚类算法对未标注数据分组

本章内容：

1. K-均值聚类算法。

2. 对聚类得到的簇进行后处理。

3. 二分K-均值聚类算法。

4.  对地理位置进行聚类。

========================================================================

K-聚类算法是一种无监督学习算法。首先明白什么是无监督学习：输入数据有标签，则为有监督学习，没标签则为无监督学习。可以参考这个知乎的链接：什么是无监督学习？

聚类就是一种无监督的学习，它将相似的对象归到同一个簇中，有点像全自动分类。聚类方法几乎可以应用于所有对象。簇内的对象越相似，聚类的效果越好。本章要学习一种称为 K-means 聚类的算法。之所以称为 K-均值 是因为它可以发现 k 个不同的簇，且每个簇的中心采用簇中所含值的均值计算而成。

聚类与分类的最大不同在于：分类的目标事先已知，而聚类则不一样。因为其产生的结果与分类相同，而只是类别没有预先定义，聚类有时也被称为无监督学习（ unsupervised classification ）。

===========================================================================================

10.1 K-均值聚类算法

优点：容易实现。

缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢。

适用数据类型：数值型数据。

k-均值伪代码：

创建 k 个点作为起始质心(经常是随机选择)
当任意一个点的簇分类结果发生改变时
    对数据集中的每一个数据点
        对每个质心
            计算质心与数据点之间的距离
        将数据点分配到距其最近的簇
    对每一个簇，计算簇中所有点的均值并将均值作为质心

上面提到的“最近”质心的说法，意味着需要进行某种距离计算。数据集上的 K-均值 算法的性能会受到所选距离计算方法的影响。首先创建一个文件，写入代码：

# -*- coding:utf-8 -*-
# kMeans.py
from numpy import *

# 将文本文件导入到一个列表中
def loadDataSet(fileName):
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split('\t') # 以 tab 分割浮点数
        fltLine = map(float, curLine)
        dataMat.append(fltLine) # append() 方法用于在列表末尾添加新的对象，这里是 dataMat
    return dataMat

def distEclud(vecA, vecB): # 欧拉距离
    return sqrt(sum(power(vecA - vecB, 2)))

# 给定数据集构建一个包含 K 个随机质心的集合
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k, n))) # 调用 mat() 函数可以将数组转化为矩阵
    for j in range(n): # 构建簇质心
        minJ = min(dataSet[:,j])
        rangeJ = float(max(dataSet[:,j]) - minJ)
        centroids[:,j] = minJ + rangeJ * random.rand(k,1)
    return centroids

老样子，建立一个 run_kMeans.py 文件：

# -*- coding:utf-8 -*-
# run_kMeans.py
import kMeans
from numpy import *

datMat = mat(kMeans.loadDataSet('testSet.txt')) # 从文本文件中构建矩阵

print min(datMat[:,0])
print min(datMat[:,1])
print max(datMat[:,1])
print max(datMat[:,0])

print kMeans.randCent(datMat, 2)# 给定数据集构建一个包含 2 个随机质心的集合

print kMeans.distEclud(datMat[0], datMat[1])

然后运行结果：

运行了两次，看得出来随机数结果是不同的。

现在准备实现完整的 k-均值 算法。该算法创建 k 个质心，然后将每个点分配到最近的质心，再重新计算质心。这个过程重复多次，直到数据点的簇分配结果不再改变为止。

在 kMeans.py 里面输入下面的代码。

# 接受四个输入参数，只有数据集和簇的数目是必选参数，用来计算距离和创建初始质心的函数都是可选的
def kMeans(dataSet, k, distMeas = distEclud, createCent = randCent):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m,2)))
    centroids = createCent(dataSet, k)
    clusterChanged = True
    while clusterChanged:
        clusterChanged = False
        for i in range(m):
            minDist = inf; minIndex = -1
            for j in range(k): # 寻找最近的质心
                distJI = distMeas(centroids[j,:], dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI; minIndex = j
            if clusterAssment[i,0] != minIndex: clusterChanged = True # True 表示可以继续迭代
            clusterAssment[i,:] = minIndex,minDist ** 2
        print centroids
        for cent in range(k):
            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A == cent)[0]]
            centroids[cent,:] = mean(ptsInClust, axis = 0)
    return centroids, clusterAssment # 更新质心的位置

按照上面的程序反复迭代计算，直到所有数据点的簇分配结果不再改变位置。
遍历所有质心并且更新的具体步骤是：首先通过数组过滤来获得给定簇的所有点；然后计算所有点的均值，选项 axis = 0 表示沿举证的列方向进行均值计算；最后，程序返回所有的类质心与点分配结果。

运行里面添加：

print'\n***************************************\n'
reload(kMeans)

datMat = mat(kMeans.loadDataSet('testSet.txt'))
print 'myCentroids, clustAssing = kMeans.kMeans(datMat, 4)'
myCentroids, clustAssing = kMeans.kMeans(datMat, 4)
print myCentroids, clustAssing

不知道为什么出来的是一长串结果，这里就不贴了。