机器学习学习笔记：K均值算法

---

1 简介

  我们之前接触的所有机器学习算法都有一个共同特点，那就是分类器会接受2个向量：一个是训练样本的特征向量X，一个是样本实际所属的类型向量Y。由于训练数据必须指定其真实分类结果，因此这种机器学习统称为有监督学习
  然而有时候，我们只有训练样本的特征，而对其类型一无所知。这种情况，我们只能让算法尝试在训练数据中寻找其内部的结构，试图将其类别挖掘出来。这种方式叫做无监督学习。由于这种方式通常是将样本中相似的样本聚集在一起，所以又叫聚类算法
  下面我们介绍一个最常用的聚类算法：K均值聚类算法（K-Means）

---

2 算法

  K均值算法的思想大致如下：

1：初始化K个样本作为初始聚类中心
2：计算每个样本点到K个中心的距离，选择最近的中心作为其分类，直到所有样本点分类完毕
3：分别计算K个类中所有样本的质心，作为新的中心点，完成一轮迭代。
通常的迭代结束条件为新的质心与之前的质心偏移值小于一个给定阈值。

  这里我们给出算法的代码实现

from numpy import *
#计算两点间距离
def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2))) #la.norm(vecA-vecB)
#随机生成K个初始点
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k,n)))
    for j in range(n):#create random cluster centers, within bounds of each dimension
        minJ = min(dataSet[:,j]) 
        rangeJ = float(max(dataSet[:,j]) - minJ)
        centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
    return centroids
#K均值算法主体
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m,2)))
    centroids = createCent(dataSet, k)
    clusterChanged = True
    while clusterChanged:
        clusterChanged = False
        for i in range(m):
            minDist = inf; minIndex = -1
            for j in range(k):
                distJI = distMeas(centroids[j,:],dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI; minIndex = j
            if clusterAssment[i,0] != minIndex: clusterChanged = True
            clusterAssment[i,:] = minIndex,minDist**2
        print centroids
        for cent in ran