吴恩达教授机器学习课程笔记【九】- k均值聚类算法

最新推荐文章于 2022-11-07 20:20:37 发布

不会算命的赵半仙

最新推荐文章于 2022-11-07 20:20:37 发布

阅读量246

点赞数

分类专栏：机器学习文章标签：机器学习

机器学习专栏收录该内容

22 篇文章 2 订阅

订阅专栏

本节为吴恩达教授机器学习课程笔记第九部分，K均值聚类算法，包括k均值聚类算法的算法原理与python实现。

在聚类问题中，给定一个训练集 ${x^{(1)},...,x^{(m)}\}$ ，我们想将数据组织成几个紧密联系的簇。也就是说，给出 $x^{(i)}$ ，我们不再需要标签数据，也就是说，这种情况下的聚类问题是无监督学习问题， $k$ 均值聚类算法的步骤如下：
在这里插入图片描述

在上面的算法中， $k$ 表示我们希望找到的聚类的数目，聚类形心 $\mu_j$ 代表我们当前对聚类中心的位置的一个猜测/算法初始化时，我们随机选择 $k$ 个训练样本作为初始聚类中心【其他的初始化方法也可以】；算法的循环步骤执行两步操作：第一步将每一个样本都依附在离它最近的形心上，第二步改变形心的位置为所有依附于它的样本的均值。算法执行步骤如下图所示：
在这里插入图片描述

$k$ 均值聚类算法在某种意义下是可以保证收敛的，定义一个损失函数：
在这里插入图片描述

$J$ 度量了每个样本到聚类中心的欧式距离，也就表明 $k$ 均值算法迭代的过程实际上是对 $J$ 的坐标下降过程。算法的内循环首先保持聚类中心不变然后最小化 $J$ ，然后保持附属关系不变继续最小化 $J$ ，因此 $J$ 必然单调下降，并且最终会收敛。
这里损失函数是一个非凸函数，所以坐标下降法并不能保证算法收敛到全局最优。为了降低算法收敛到局部最优解，我们可以多跑几遍算法，每次算法选择不同的随机聚类中心。
算法的python实现如下

import numpy as np
import matplotlib.pyplot as plt
 
# 加载数据
def loadDataSet(fileName):
    data = np.loadtxt(fileName,delimiter='\t')
    return data
 
# 欧氏距离计算
def distEclud(x,y):
    return np.sqrt(np.sum((x-y)**2))  # 计算欧氏距离
 
# 为给定数据集构建一个包含K个随机质心的集合
def randCent(dataSet,k):
    m,n = dataSet.shape
    centroids = np.zeros((k,n))
    for i in range(k):
        index = int(np.random.uniform(0,m)) #
        centroids[i,:] = dataSet[index,:]
    return centroids
 
# k均值聚类
def KMeans(dataSet,k):
 
    m = np.shape(dataSet)[0]  #行的数目
    # 第一列存样本属于哪一簇
    # 第二列存样本的到簇的中心点的误差
    clusterAssment = np.mat(np.zeros((m,2)))
    clusterChange = True
 
    # 第1步 初始化centroids
    centroids = randCent(dataSet,k)
    while clusterChange:
        clusterChange = False
 
        # 遍历所有的样本（行数）
        for i in range(m):
            minDist = 100000.0
            minIndex = -1
 
            # 遍历所有的质心
            #第2步 找出最近的质心
            for j in range(k):
                # 计算该样本到质心的欧式距离
                distance = distEclud(centroids[j,:],dataSet[i,:])
                if distance < minDist:
                    minDist = distance
                    minIndex = j
            # 第 3 步：更新每一行样本所属的簇
            if clusterAssment[i,0] != minIndex:
                clusterChange = True
                clusterAssment[i,:] = minIndex,minDist**2
        #第 4 步：更新质心
        for j in range(k):
            pointsInCluster = dataSet[np.nonzero(clusterAssment[:,0].A == j)[0]]  # 获取簇类所有的点
            centroids[j,:] = np.mean(pointsInCluster,axis=0)   # 对矩阵的行求均值
 
    print("Congratulations,cluster complete!")
    return centroids,clusterAssment
 
def showCluster(dataSet,k,centroids,clusterAssment):
    m,n = dataSet.shape
    if n != 2:
        print("数据不是二维的")
        return 1
 
    mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
    if k > len(mark):
        print("k值太大了")
        return 1
 
    # 绘制所有的样本
    for i in range(m):
        markIndex = int(clusterAssment[i,0])
        plt.plot(dataSet[i,0],dataSet[i,1],mark[markIndex])
 
    mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']
    # 绘制质心
    for i in range(k):
        plt.plot(centroids[i,0],centroids[i,1],mark[i])
 
    plt.show()
dataSet = loadDataSet("test.txt")
k = 4
centroids,clusterAssment = KMeans(dataSet,k)
 
showCluster(dataSet,k,centroids,clusterAssment)