利用K-均值聚类算法对未标注数据分组

最新推荐文章于 2022-10-05 15:01:08 发布

DowT

最新推荐文章于 2022-10-05 15:01:08 发布

阅读量475

点赞数 1

分类专栏：机器学习算法文章标签：机器学习聚类算法

本文链接：https://blog.csdn.net/Bear_Fox/article/details/108918721

版权

机器学习算法专栏收录该内容

1 篇文章 0 订阅

订阅专栏

在原代码的基础上根据自己的理解添加的注释。。

机器学习算法实战中英文PDF版以及源码和数据：

链接：https://pan.baidu.com/s/1YbOQaZSozuZKAI8eaYCgMQ 
提取码：vb8n 
复制这段内容后打开百度网盘手机App，操作更方便哦

一、k-均值聚类算法

K-均值是发现给定数据集的k个簇的算法。簇个数k是用户给定的，每一个簇通过其质心（centroid），即簇中所有点的中心来描述。
K-均值算法的工作流程是这样的。首先，随机确定k个初始点作为质心。然后将数据集中的每个点分配到一个簇中，具体来讲，为每个点找距其最近的质心，并将其分配给该质心所对应的簇。这一步完成之后，每个簇的质心更新为该簇所有点的平均值。

上述过程的伪代码表示如下：

创建k个点作为起始质心（经常是随机选择）
当任意一个点的簇分配结果发生改变时
    对数据集中的每个数据点
        对每个质心
            计算质心与数据点之间的距离
        将数据点分配到距其最近的簇
    对每一个簇，计算簇中所有点的均值并将均值作为质心

上面提到“最近”质心的说法，意味着需要进行某种距离计算。读者可以使用所喜欢的任意距离度量方法。数据集上K-均值算法的性能会受到所选距离计算方法的影响。下面给出K-均值算法的代码实现。首先创建一个名为kMeans.py的文件，然后将下面程序清单中的代码添加到文件中。

k-均值聚类支持函数

from numpy import *


# k-均值聚类支持函数
# 加载数据
def loadDataSet(fileName):
    dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        fltLine = list(map(float, curLine))  # 转化为float之后返回
        dataMat.append(fltLine)
    return dataMat


# 计算距离
def distEclud(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2)))


# 随机生成k个质心的集合
def randCent(dataSet, k):
    n = shape(dataSet)[1]  # 获取数据多少列
    centroids = mat(zeros((k, n)))  # 用于存储k个数据样本
    for j in range(n):
        minJ = min(dataSet[:, j])  # 第j列的最小值
        rangeJ = float(max(dataSet[:, j]) - minJ)  # 一列最大值和最小值的差值
        # random.rand(m,n) 随机返回一组服从“0~1”分布的随机样本 取值范围[0,1) m行n列
        centroids[:, j] = minJ + rangeJ * random.rand(k, 1)  # 生成了第j列的k个值
    return centroids

k-均值聚类算法

def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):
    m = shape(dataSet)[0]  # 获取样本数量（多少行）
    # 用于存储每个样本的质心分配结果，第一列记录质心的索引值，第二列存储误差(该点到质心的距离)
    clusterAssment = mat(zeros((m, 2)))
    centroids = createCent(dataSet, k)  # 随机生成k个质心
    clusterChanged = True  # 标志变量
    while clusterChanged:
        clusterChanged = False
        for i in range(m):
            minDist = inf  # 无穷大
            minIndex = -1
            for j in range(k):  # 第i个样本与k个质心计算距离
                distJI = distMeas(centroids[j, :], dataSet[i, :])
                if distJI < minDist:  # 如果距离近，就替换为它
                    minDist = distJI
                    minIndex = j
            if clusterAssment[i, 0] != minIndex:  # 判断索引值有没有发生变化
                clusterChanged = True
            clusterAssment[i, :] = minIndex, minDist ** 2  # 记录该样本属于哪个质心
        # print(centroids)
        # 找出所有属于cent质心的样本列向求平均值 作为新的质心点
        for cent in range(k):
            # nonzero获取非0元素的索引值 .A把矩阵转化为数组
            ptsInClust = dataSet[nonzero(clusterAssment[:, 0].A == cent)[0]]
            # axis=0表示按列计算平均值
            centroids[cent, :] = mean(ptsInClust, axis=0)
    return centroids, clusterAssment

测试代码

if __name__ == '__main__':
    dataMat = mat(loadDataSet('testSet.txt'))
    # print(randCent(dataMat, 2))
    myCentrroids, clustAssing = kMeans(dataMat, 3)
    # 输出质心以及聚类结果
    print(myCentrroids)
    print(clustAssing)
    # 下面是自己写的一个绘制结果图的代码
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(myCentrroids[:, 0].tolist(), myCentrroids[:, 1].tolist(), c='r', marker='+', s=80)
    colors = ['b', 'c', 'y', 'g']
    for i in range(shape(dataMat)[0]):
        # print(int(clustAssing[i, 0]))
        ax.scatter(dataMat[i, 0].tolist(), dataMat[i, 1].tolist(), c=colors[int(clustAssing[i, 0])])
    plt.show()

使用后处理来提高聚类性能

前面提到，在K-均值聚类中簇的数目k是一个用户预先定义的参数，那么用户如何才能知道k的选择是否正确？如何才能知道生成的簇比较好呢？在包含簇分配结果的矩阵中保存着每个点的误差，即该点到簇质心的距离平方值。下面会讨论利用该误差来评价聚类质量的方法。
考虑下图中的聚类结果，这是在一个包含三个簇的数据集上运行K-均值算法之后的结果，但是点的簇分配结果值没有那么准确。K-均值算法收敛但聚类效果较差的原因是，K-均值算法收敛到了局部最小值，而非全局最小值（局部最小值指结果还可以但并非最好结果，全局最小值是可能的最好结果）。
一种用于度量聚类效果的指标是SSE（Sum of Squared Error，误差平方和），对应程序清单中clusterAssment矩阵的第一列之和。SSE值越小表示数据点越接近于它们的质心，聚类效果也越好。因为对误差取了平方，因此更加重视那些远离中心的点。一种肯定可以降低SSE值的方法是增加簇的个数，但这违背了聚类的目标。聚类的目标是在保持簇数目不变的情况下提高簇的质量。
那么如何对下图的结果进行改进？你可以对生成的簇进行后处理，一种方法是将具有最大SSE值的簇划分成两个簇。具体实现时可以将最大簇包含的点过滤出来并在这些点上运行K-均值算法，其中的k设为2。

为了保持簇总数不变，可以将某两个簇进行合并。从上图中很明显就可以看出，应该将图下部两个出错的簇质心进行合并。可以很容易对二维数据上的聚类进行可视化，但是如果遇到40维的数据应该如何去做？
有两种可以量化的办法：合并最近的质心，或者合并两个使得SSE增幅最小的质心。第一种思路通过计算所有质心之间的距离，然后合并距离最近的两个点来实现。第二种方法需要合并两个簇然后计算总SSE值。必须在所有可能的两个簇上重复上述处理过程，直到找到合并最佳的两个簇为止。接下来将讨论利用上述簇划分技术得到更好的聚类结果的方法。

二分k-均值算法

为克服K-均值算法收敛于局部最小值的问题，有人提出了另一个称为二分K-均值（bisecting K-means）的算法。该算法首先将所有点作为一个簇，然后将该簇一分为二。之后选择其中一个簇继续进行划分，选择哪一个簇进行划分取决于对其划分是否可以最大程度降低SSE的值。上述基于SSE的划分过程不断重复，直到得到用户指定的簇数目为止。

二分k-均值算法的伪代码形式如下：

将所有点看成一簇
当簇数目小于k时
    对于每一个簇
        计算总误差
        在给定的簇上面进行k-均值聚类（k=2）
        计算将该簇一分为二之后的总误差
    选择使得误差最小的那个簇进行划分

另一种做法是选择SSE最大的簇进行划分，直到簇数目达到用户指定的数目为止。这个做法听起来并不难实现。下面就来看一下该算法的实际效果。打开kMeans.py文件然后加入下面程序清单中的代码。

二分k-均值聚类算法

def biKmeans(dataSet, k, distMeas=distEclud):
    m = shape(dataSet)[0]
    clusterAssment = mat(zeros((m, 2)))
    centroid0 = mean(dataSet, axis=0).tolist()[0]  # 初始化第一个质心为均值点
    centList = [centroid0]  # 用列表存储质心
    for j in range(m):  # 计算初始距离
        clusterAssment[j, 1] = distMeas(mat(centroid0), dataSet[j, :]) ** 2
    while len(centList) < k:
        lowestSSE = inf  # 设置误差平方和为无穷大
        for i in range(len(centList)):
            # 把属于同一个质心的数据取出来看成一个数据集
            ptsInCurrCluster = dataSet[nonzero(clusterAssment[:, 0].A == i)[0], :]
            centroidMat, splitClustAss = kMeans(ptsInCurrCluster, 2, distMeas)  # 对其进行二分
            sseSplit = sum(splitClustAss[:, 1])  # 对距离求和 作为划分后的误差值
            sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:, 0].A != i)[0], 1])  # 未划分的 剩余的数据的误差值
            print("sseSplit, and notSplit: ", sseSplit, sseNotSplit)
            if (sseSplit + sseNotSplit) < lowestSSE:  # 求和即为总体误差值，如果小 则取之
                bestCentToSplit = i
                bestNewCents = centroidMat
                bestClustAss = splitClustAss.copy()
                lowestSSE = sseSplit + sseNotSplit
        # 获得最好的二分法之后，，划分为了两类 第一类存放于原来的簇，，第二类添加到cenList
        bestClustAss[nonzero(bestClustAss[:, 0].A == 1)[0], 0] = len(centList)
        bestClustAss[nonzero(bestClustAss[:, 0].A == 0)[0], 0] = bestCentToSplit
        print('the bestCentToSplit is: ', bestCentToSplit)
        print('the len of bestClustAss is: ', len(bestClustAss))
        # 把原来的质心修改为重新划分后的第一个质心
        centList[bestCentToSplit] = bestNewCents[0, :].tolist()[0]
        # 把重新划分后的第二个质心添加到centList中
        centList.append(bestNewCents[1, :].tolist()[0])
        # 被划分的数据集，替换为重新划分好的数据分类
        clusterAssment[nonzero(clusterAssment[:, 0].A == bestCentToSplit)[0], :] = bestClustAss
    return mat(centList), clusterAssment

测试代码

if __name__ == '__main__':
    dataMat3 = mat(loadDataSet('testSet2.txt'))
    centList, myNewAssments = biKmeans(dataMat3, 3)
    print(centList)
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(centList[:, 0].tolist(), centList[:, 1].tolist(), c='r', marker='+', s=80)
    colors = ['b', 'c', 'y', 'g']
    for i in range(shape(dataMat3)[0]):
        # print(int(clustAssing[i, 0]))
        ax.scatter(dataMat3[i, 0].tolist(), dataMat3[i, 1].tolist(), c=colors[int(myNewAssments[i, 0])])
    plt.show()

总结

聚类是一种无监督的学习方法。所谓无监督学习是指事先并不知道要寻找的内容，即没有目标变量。聚类将数据点归到多个簇中，其中相似数据点处于同一簇，而不相似数据点处于不同簇中。聚类中可以使用多种不同的方法来计算相似度。
一种广泛使用的聚类算法是K-均值算法，其中k是用户指定的要创建的簇的数目。K-均值聚类算法以k个随机质心开始。算法会计算每个点到质心的距离。每个点会被分配到距其最近的簇质心，然后紧接着基于新分配到簇的点更新簇质心。以上过程重复数次，直到簇质心不再改变。这个简单的算法非常有效但是也容易受到初始簇质心的影响。为了获得更好的聚类效果，可以使用另一种称为二分K-均值的聚类算法。二分K-均值算法首先将所有点作为一个簇，然后使用K-均值算法（k = 2）对其划分。下一次迭代时，选择有最大误差的簇进行划分。该过程重复直到k个簇创建成功为止。二分K-均值的聚类效果要好于K-均值算法。
K-均值算法以及变形的K-均值算法并非仅有的聚类算法，另外称为层次聚类的方法也被广泛使用。下一章将介绍在数据集中查找关联规则的Apriori算法。