《机器学习实战笔记--第三部分 无监督学习 利用k-均值聚类算法对未标记数据分组》

    在无监督学习中，类似分类和回归中的目标变量是事先不存在的。这里要回答的问题是从数据X中能发现什么？比如构成X的最佳6个数据簇都是哪些？或则X中哪三个特征出现的最频繁？

    聚类是一种无监督学习，它将相似的对象归到同一个簇中。有点像全自动分类。簇内对象越相似，聚类效果越好。

    K-均值聚类算法，可以发现k个不同的簇，且每个簇的中心采用簇中所含值的均值计算而成。

    先讨论一下 簇识别。簇识别给出聚类结果的含义。假定有一些数据，现在将相似数据归到一起，簇识别会告诉我们这些簇到底是些什么。

    下面会构建K-均值方法并观察其效果，还会讨论一些缺陷，为了解决其中的一些缺陷，可以通过后来处理产生很好的簇。接着会给出一个更好的二分k-均值的聚类算法。

    1. K-均值聚类算法

                    

    K-均值是发现给定数据集的K个簇的算法。簇个数k是用户给定的，每一个簇通过质心，即簇中所有点的中心来描述。

    首先，随机确定k个起始点为质心。然后将数据集中的每个点分配到一个簇中，具体来讲，为每个点找到距其最近的质心，并将其分配给该质心所对应的簇。这一步完成后，每个簇的质心更新为该簇所有点的平均值。    

    伪代码：

    

        

    下面给出K-均值算法的代码实现：

from numpy import *

def loadDataSet(filename):
    dataMat = []
    fr = open(filename)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        fltLine = list(map(float, curLine))
        #print(fltLine)
        dataMat.append(fltLine)
    return dataMat #返回一个包含许多列表的列表，容易将很多值封装到矩阵中

# 使用欧式距离计算两个向量的距离
def distEclud(vecA, vecB):
    # 数组元素求平方
    return sqrt(sum(power(vecA - vecB, 2))) #la.norm(vecA-vecB)

# 构建一个包含k个随机质心的集合
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k, n)))
    for j in range(n):
        '''
        随机质心必须要整个数据集的边界之内
        找到每个维的最大值和最小值，求出范围
        然后生成0到1.0之间的随机数并通过最小值和取值范围，以便确保随机点在数据边界之内
        '''
        minJ = min(dataSet[:,j])
        rangeJ = float(max(dataSet[:,j]) - minJ)
        centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1)) # 随机样本位于0到1中
    return centroids
        

    首先观察矩阵中的最大值与最小值    

    

      然后看看randCent()函数能否生成min到max之间的值：从下图观察是可以的。

     

       再测试一下距离的计算方法：

     

       所有的支持函数都可以正常运行。就可以开始实现k-均值算法了，该算法会创建k个质心，然后将每个点分配到距离最近的质心，再重新计算质心，重复数次，直到数据点的簇分配结果不再改变为止。

def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
    '''
    输入四个参数：数据集 k是必选参数，计算距离参数和创建初始质心参数是可选的
    '''
    m = shape(dataSet)[0] # 数据集样本点数
    # 簇分配结果矩阵 一列记录簇索引值 一列存储误差：指当前点到簇质心的距离
    clusterAssment = mat(zeros((m,2)))
    centroids = createCent(dataSet, k) # 创建k个质心
    clusterChanged = True # 标志变量，值为true就继续迭代
    while clusterChanged:
        clusterChanged = False
        for i in range(m):#for each data point assign it to the closest centroid
            minDist = inf; minIndex = -1
            for j in range(k):
                distJI = distMeas(centroids[j,:],dataSet[i,:])
                if distJI < minDist:
                    minDist = distJI; minIndex = j
            if clusterAssment[i,0] != minIndex: clusterChanged = True
            clusterAssment[i,:] = minIndex,minDist**2
        print (centroids)
        for cent in range(k):#recalculate centroids
            ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster
            centroids[cent,:] = mean(ptsInClust, axis=0) # 沿矩阵列方向计算均值
    return centroids, clusterAssment

    导入数据集运行结果如下：

    

    上面结果给出了四个质心，可以看到经过3次迭代之后算法收敛。

    

    

    2. 使用后处理来提高聚类性能

       k是一个用户预先定义的参数，但是如何才能知道k的选择是否正确呢？如何才能知道簇的生成式比较好的呢？在包含簇分配结果的矩阵中保存着每个点的误差，即该点到簇质心的距离的平方值。我们会利用该误差来评价聚类质量的方法。

          

        图10-2的聚类结果，这是一个三个簇的数据集在运行了k均值算法之后的结果，但是点的簇分配结果并没有那么准确。k均值聚类算法比较差的原因是算法收敛到了局部最小值，而不是全局最小值。

        一种度量聚类效果的指标是SSE（sum of squared error, 误差平方和），对应上面程序中clusterAssment矩阵的第一列之和。SSE值越小表示数据点越接近于它们的质心，聚类效果也就越好。因为对误差取了平方，所以更重视那些远离中心的点。

        那么该怎么对10-2的结果进行改进？可以对生成的簇进行后处理，一种方法是将具有最大SSE值的簇划分成两个簇。具体实现时可以将最大簇包含的点过滤出来并在这些点上面进行k-均值算法，k=2。

        为了保持簇总数不变，可以将某两个簇合并。从图中可以很明显的看出，要对下面两个出错的簇进行合并，但是我们这是在二维可视化的结果进行分析的，如果是四十维的数据应该如何处理？

        有两种解决方法：合并最近的质心，或者合并两个使得SSE增幅最小的质心。第一种思路计算所有质心之间的距离，然后合并最近的两个点来实现；第二种方法需要合并两个簇然后计算总的SSE值。必须在所有可能的两个簇上重复上述的过程，直到找到合并最佳的两个簇为止。

        

    3. 二分K-均值算法

       为了克服k-均值算法收敛到局部最小值的问题，有人提出了另一个称为二分k-均值的算法。该算法首先将所有点作为一个簇，然后将簇一分为二。之后选择其中一个簇继续划分，选择哪一个簇进行划分取决于是否可以最大程度降低SSE的值。上述的划分福偶成不断重复，直到得到用户指定的簇数目为止。

            

              

        另一种做法是选择SSE最大的簇进行划分，直到簇数目达到用户的指定数目，下面来实现以下实际效果：

def biKmeans(dataSet, k, distMeas=distEclud):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m,2))) # 存放分配结果及平方误差
    centroid0 = mean(dataSet, axis=0).tolist()[0]
    centList =[centroid0] #列表 存放整个数据集的质心
    for j in range(m):# 遍历数据集中所有的点来计算每个点到质心的误差值
        clusterAssment[j,1] = distMeas(mat(centroid0), dataSet[j,:])**2
    while (len(centList) < k):
        lowestSSE = inf
        for i in range(len(centList)):
            ptsInCurrCluster = dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]#get the data points currently in cluster i
            centroidMat, splitClustAss = kMeans(ptsInCurrCluster, 2, distMeas)
            sseSplit = sum(splitClustAss[:,1])#compare the SSE to the currrent minimum
            sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])
            print ("sseSplit, and notSplit: ",sseSplit,sseNotSplit)
            if (sseSplit + sseNotSplit) < lowestSSE:
                bestCentToSplit = i
                bestNewCents = centroidMat
                bestClustAss = splitClustAss.copy()
                lowestSSE = sseSplit + sseNotSplit
        bestClustAss[nonzero(bestClustAss[:,0].A == 1)[0],0] = len(centList) #change 1 to 3,4, or whatever
        bestClustAss[nonzero(bestClustAss[:,0].A == 0)[0],0] = bestCentToSplit
        print ('the bestCentToSplit is: ',bestCentToSplit)
        print ('the len of bestClustAss is: ', len(bestClustAss))
        centList[bestCentToSplit] = bestNewCents[0,:].tolist()[0]#replace a centroid with two best centroids 
        centList.append(bestNewCents[1,:].tolist()[0])
        clusterAssment[nonzero(clusterAssment[:,0].A == bestCentToSplit)[0],:]= bestClustAss#reassign new clusters, and SSE
    return mat(centList), clusterAssment

        运行结果：

        

        质心：

        

        上述函数可以运行多次，聚类会收敛到全局最小值，而原始的kMeans()会陷入局部最小值。

        

        

        

    4.本章小结

    k-均值聚类是一种广泛的使用方法，以k个随机质心开始，算法会计算每个点到质心的距离，每个点会被分配到距其最近的簇质心，然后基于新分配到簇的点更新簇质心。以上过程重复数次，直到簇质心不再改变。这个方法非常简单有效，但是会受到初始簇质心的影响，为了获得更好的聚类效果可以使用另一种二分k-均值聚类算法。二分k-均值算法首先将所有点作为一个簇，然后使用k-均值聚类算法（k=2）对其划分。下一次迭代时，选择有最大误差的簇进行划分。该过程重复，直到k个簇创建成功为止。