机器学习（七）-- K-means聚类算法 ( k均值聚类算法)

一、K-means聚类算法

算法思想

k-means算法实际上就是通过计算不同样本间的距离来判断他们的相近关系的，相近的就会放到同一个类别中去。

1.首先我们需要选择一个k值，也就是我们希望把数据分成多少类，这里k值的选择对结果的影响很大，选择方法有两种一种就是根据聚类的结果和k的函数关系判断k为多少的时候效果最好。另一种则是根据具体的需求确定，比如说进行衬衫尺寸的聚类你可能就会考虑分成三类（L,M,S）等，例如，一个鞋厂有三种新款式，它想知道每种新款式都有哪些潜在客户，于是它调研客户，然后从数据里找出三类

2.然后我们需要选择最初的聚类点（或者叫质心），这里的选择一般是随机选择的，代码中的是在数据范围内随机选择，另一种是随机选择数据中的点。这些点的选择会很大程度上影响到最终的结果，也就是说运气不好的话就到局部最小值去了。这里有两种处理方法，一种是多次取均值，另一种则是后面的改进算法（bisecting K-means）

3. 接下来我们会把数据集中所有的点都计算下与这些质心的距离，把它们分到离它们质心最近的那一类中去。完成后我们则需要将每个簇算出平均值，用这个点作为新的质心。反复重复这两步，直到收敛我们就得到了最终的结果。

Kmeans的参数是类的重心位置和其内部观测值的位置。与广义线性模型和决策树类似，Kmeans参数的最优解也是以成本函数最小化为目标。

算法优缺点：

优点：容易实现
缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢
使用数据类型：数值型数据

 

'''
k Means Clustering for Ch10 of Machine Learning in Action
'''
from numpy import *
def loadDataSet(fileName):  # 注意，这里读取的最后一行不是目标值，因为是无监督学习
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        fltLine = list(map(float, curLine))  # 映射一行元素为float
        dataMat.append(fltLine)
    return dataMat

# 计算欧氏距离
def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2)))

# 为数据集中每个特征随机创建k个聚簇中心
def randCent(dataSet, k):
    n = shape(dataSet)[1]
    centroids = mat(zeros((k, n)))  # k个聚簇中心，每个簇中心特征数为n
    for j in range(n):
        minJ = min(dataSet[:, j])
        rangeJ = float(max(dataSet[:, j]) - minJ)
        # 为第j个特征创建k个聚簇中心
        centroids[:, j] = mat(minJ + rangeJ * random.rand(k, 1))  # random.rand(k,1) 是numpy中的函数，随机生成k行1列的(0,1)范围的高斯随机数
        print("\n minJ ： ", minJ, "\nrangeJ ： ", rangeJ, "\n随机 中心矩阵centroids：", centroids)
    return centroids

'''
kMeans算法
@param dataSet：数据集
@param k：k个聚类中心
@param distMeas：距离计算公式，默认欧氏距离计算法
@param createCent：选择k个聚类中心方法，默认为随机选取
'''
def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m, 2)))  # 存储每个点的簇分配结果，第一列记录簇索引值，第二列存储误差（距离的平方）
    centroids = createCent(dataSet, k)  # k个聚簇中心矩阵(k,n)
    print("\n f返回中心矩阵centroids  ： ", centroids)
    clusterChanged = True
    while clusterChanged:
        clusterChanged = False
        for i in range(m):  # 对于每个数据点
            minDist = inf;
            minIndex = -1
            for j in range(k):  # 寻找最近的质心
                distJI = distMeas(centroids[j, :], dataSet[i, :])
                if distJI < minDist:
                    minDist = distJI;
                    minIndex = j
            if clusterAssment[i, 0] != minIndex: clusterChanged = True  # 如果任何一个簇中心位置发生了改变，那么就更改标志clusterChanged为true
            clusterAssment[i, :] = minIndex, minDist ** 2
        # print("\n centroids  ： ", centroids)
        for cent in range(k):  # 更新质心的位置
            ptsInClust = dataSet[nonzero(clusterAssment[:, 0].A == cent)[0]]  # 得到在这个簇中心的所有数据点
            centroids[cent, :] = mean(ptsInClust, axis=0)  # 按列求均值（注意：簇中心不包括随机选择的那个点）
            # print("\n ptsInClust  ： ", ptsInClust)
            print("\n 最终中心矩阵centroids  ： ", centroids)
            # print("\n   clusterAssment : ", clusterAssment)
    return centroids, clusterAssment  # 返回簇中心、簇分配结果矩阵


def show(dataSet, k, centroids, clusterAssment):
    from matplotlib import pyplot as plt
    numSamples, dim = dataSet.shape
    mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
    for i in range(numSamples):
        markIndex = int(clusterAssment[i, 0])
        plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex])
    mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']
    for i in range(k):
        plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize=12)
    plt.show()

def main():
    dataMat = mat(loadDataSet('testSet.txt'))
    print("dataMat: ", dataMat)
    k = 4  # k：指定的k个聚类中心
    myCentroids, clustAssing = kMeans(dataMat, k)
    show(dataMat, k, myCentroids, clustAssing)

if __name__ == '__main__':
    main()

二、优化算法： 

一、k个初始化的质心的位置选择

3. K-Means初始化优化K-Means++
       k个初始化的质心的位置选择对最后的聚类结果和运行时间都有很大的影响，因此需要选择合适的k个质心。如果仅仅是完全随机的选择，有可能导致算法收敛很慢。K-Means++算法就是对K-Means随机初始化质心的方法的优化。　　　

　K-Means++的对于初始化质心的优化策略也很简单，如下：
　　　　a)  从输入的数据点集合中随机选择一个点作为第一个聚类中心μ1
　　    b) 对于数据集中的每一个点xi，计算它与已选择的聚类中心中最近聚类中心的距离D(xi)=argmin||xi−μr||^2……r=1,2,...kselected
　　　　c) 选择下一个新的数据点作为新的聚类中心，选择的原则是：D(x)较大的点，被选取作为聚类中心的概率较大
　　　　d) 重复b和c直到选择出k个聚类质心
　　　　e) 利用这k个质心来作为初始化质心去运行标准的K-Means算法

K-Means++对初始聚类中心点的选取做了优化，简要来说就是使初始聚类中心点尽可能的分散开来，这样可以有效的减少迭代次数，加快运算速度。

 二、K-Means距离计算优化elkan K-Means

　　在传统的K-Means算法中，我们在每轮迭代时，要计算所有的样本点到所有的质心的距离，这样会比较的耗时。那么，对于距离的计算有没有能够简化的地方呢？elkan K-Means算法就是从这块入手加以改进。它的目标是减少不必要的距离的计算。那么哪些距离不需要计算呢？
　　elkan K-Means利用了两边之和大于等于第三边,以及两边之差小于第三边的三角形性质，来减少距离的计算。
　　第一种规律是对于一个样本点xx和两个质心μj1,μj2。如果我们预先计算出了这两个质心之间的距离D(j1,j2)，则如果计算发现2D(x,j1)≤D(j1,j2),我们立即就可以知道D(x,j1)≤D(x,j2)。此时我们不需要再计算D(x,j2),也就是说省了一步距离计算。 
　　利用上边的两个规律，elkan K-Means比起传统的K-Means迭代速度有很大的提高。但是如果我们的样本的特征是稀疏的，有缺失值的话，这个方法就不使用了，此时某些距离无法计算，则不能使用该算法。
       

三、大样本优化Mini Batch K-Means

在统的K-Means算法中，要计算所有的样本点到所有的质心的距离。如果样本量非常大，比如达到10万以上，特征有100以上，此时用传统的K-Means算法非常的耗时，就算加上elkan K-Means优化也依旧。在大数据时代，这样的场景越来越多。此时Mini Batch K-Means应运而生。
　　顾名思义，Mini Batch，也就是用样本集中的一部分的样本来做传统的K-Means，这样可以避免样本量太大时的计算难题，算法收敛速度大大加快。当然此时的代价就是我们的聚类的精确度也会有一些降低。一般来说这个降低的幅度在可以接受的范围之内。
　　在Mini Batch K-Means中，我们会选择一个合适的批样本大小batch size，我们仅仅用batch size个样本来做K-Means聚类。那么这batch size个样本怎么来的？一般是通过无放回的随机采样得到的。
　　为了增加算法的准确性，我们一般会多跑几次Mini Batch K-Means算法，用得到不同的随机采样集来得到聚类簇，选择其中最优的聚类簇。
该算法的迭代步骤有两步：
1：从数据集中随机抽取一些数据形成小批量，把他们分配给最近的质心
2：更新质心
与K均值算法相比，数据的更新是在每一个小的样本集上。对于每一个小批量，通过计算平均值得到更新质心，并把小批量里的数据分配给该质心，随着迭代次数的增加，这些质心的变化是逐渐减小的，直到质心稳定或者达到指定的迭代次数，停止计算
Mini Batch K-Means比K-Means有更快的 收敛速度，但同时也降低了聚类的效果，但是在实际项目中却表现得不明显。个人理解，Mini Batch K-Means通过小样本的实验，可以初步预测聚类中心的位置，对n次Mini Batch K-Means的聚类结果取均值作为大样本实验初始聚类中心的位置，也能够减少运算量，加快聚类速度。 

https://blog.csdn.net/weixin_42029738/article/details/81978038

三、K-Means与KNN 

　　　　K-Means是无监督学习的聚类算法，没有样本输出；而KNN是监督学习的分类算法，有对应的类别输出。KNN基本不需要训练，对测试集里面的点，只需要找到在训练集中最近的k个点，用这最近的k个点的类别来决定测试点的类别。而K-Means则有明显的训练过程，找到k个类别的最佳质心，从而决定样本的簇类别。

　　　　当然，两者也有一些相似点，两个算法都包含一个过程，即找出和某一个点最近的点。两者都利用了最近邻(nearest neighbors)的思想。