机器学习实战 第十章 利用K-均值聚类算法对未标注数据分组

本章内容：

• K-均值聚类算法
• 对聚类得到的簇进行后处理
• 二分K-均值聚类算法
• 对地理位置进行聚类

聚类是一种无监督的学习，将相似的对象归入同一个簇内。K-均值（K-means）聚类算法之所以称为K-均值是因为它可以发现k个不同的簇，且每个簇的中心采用簇中所含值的均值计算而成。

聚类与分类的最大不同在于，分类的目标实现已知，而聚类则不一样。因为其产生的结果和分类相同，而只是类别没有预先定义，聚类有时候也被称为无监督分类（unsupervised classification）。

为了解决简单的K-均值算法的缺陷，可通过后处理来产生更好的簇。一个更有效的改进是二分K-均值（bisecting k-means）的聚类算法。

一、K-均值聚类算法

K-均值是发现给定数据集的k个簇的算法。簇个数k时用户给定的，每个簇通过其质心（centroid），即簇中所有点的中心来描述。

K-均值算法的工作流程，首先，随机确定k个初始点作为质心。然后将数据集中的每个点分配到一个簇中，具体来讲，为每个点找距其最近的质心，并将其分配给该质心所对应的簇。这一步完成之后，每个簇的质心更新为该簇所有点的平均值。K-均值算法的伪代码如下：

创建k个点作为起始质心（经常是随机选择）
当任意一个点的簇分配结果发生改变时
    对数据集中的每个数据点
        对每个质心
            计算质心与数据点之间的距离
        将数据点分配到距其最近的簇
    对每个簇，计算簇中所有点的均值并将均值作为质心

“最近”质心意味着需要进行某种距离计算，可以选择任意距离度量方法。

# coding=utf-8

from numpy import *

def loadDataSet(fileName) :
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines() :
        curLine = line.strip().split('\t')
        fltLine = map(float, curLine)
        dataMat.append(fltLine)
    return dataMat

# 计算两个向量的欧式距离
def distEclud(vecA, vecB) :
    return sqrt(sum(power(vecA - vecB, 2)))

# 为给定的数据集构建一个包含k个随机质心的集合
def randCent(dataSet, k) :
    n = shape(dataSet)[1]
    centroids = mat(zeros((k,n)))
    # 构建簇质心
    for j in range(n) :
        # 每一维的最小值
        minJ = min(dataSet[:, j])
        # 每一维的最大值最小值之差
        rangeJ = float(max(dataSet[:,j]) - minJ)
        # random.rand(i,j)，生成一个i行j列的数组，其中每个元素都0-1之间的随机数
        centroids[:,j] = minJ + rangeJ * random.rand(k,1)
    return centroids

>>> import ml.kMeans as kMeans
>>> from n