机器学习（三）--K-Means算法

机器学习（三）–K-Means算法

一、K-means算法的相关描述

聚类是一种无监督的学习，它将相似的对象归到同一簇中。聚类的方法几乎可以应用所有对象，簇内的对象越相似，聚类的效果就越好。K-means算法中的k表示的是聚类为k个簇，means代表取每一个聚类中数据值的均值作为该簇的中心，或者称为质心，即用每一个的类的质心对该簇进行描述。

聚类和分类最大的不同在于，分类的目标是事先已知的，而聚类则不一样，聚类事先不知道目标变量是什么，类别没有像分类那样被预先定义出来，所以，聚类有时也叫无监督学习。

1、聚类算法

1. 步中初始化聚类中心最简单的方式就是直接随机选择k中样本点,将它们作为初始的聚类中心,当然,其他的方式也是可以的
2. 计算每个点到聚类中心的距离,找出距离样本点最近的那个聚类,重新将该点分配到该聚类
3. 当所有样本点重新计算了所属类别之后,类内的中心点位置也相应的发生了改变,重新计算每个类簇包含的样本点的中心点

下图1.1展示了K-means算法的步骤:

二、K-Means算法的代码实现

import numpy as np
import matplotlib.pyplot as plt

''''
k-means实现
'''

'''
0.加载数据
1.计算欧式距离
2.初始化聚类中心
3.k_means实现
4.结果可视化
'''


def loadData():
    f = open('./test.txt', mode='r', errors='ignore')
    # 逐行读取文件，去掉换行符，并且以\t切分数据，得到80行两列的list
    lines = [line.strip().split('\t') for line in f.readlines()]
    data = np.mat(lines, dtype=np.float64)
    return data


def calDistance(vec1, vec2):
    d = np.sqrt(np.sum(np.power(vec1 - vec2, 2)))
    return d


def initClusterCentroid(data, k):
    m_samples, n_features = data.shape
    centroidIndex = np.random.uniform(0, m_samples, k)
    centroidMat = np.mat(np.ones((k, n_features)))
    for i, v in enumerate(centroidIndex):
        centroidMat[i, :] = (data[int(v), :])
    return centroidMat


def k_means(data, k):
    m_samples, n_features = data.shape
    AssignMat = np.zeros((m_samples, 2))
    flag = True
    centroidMat = initClusterCentroid(data, k)
    while flag:
        flag = False
        for i in range(m_samples):
            minDistance = 99999
            minIndex = -2
            for j in range(k):
                d = calDistance(data[i, :], centroidMat[j, :])
                if (d < minDistance):
                    minDistance = d
                    minIndex = j
            if (minIndex != AssignMat[i, 0]):
                AssignMat[i, 0] = minIndex
                AssignMat[i, 1] = minDistance
                flag = True

        # print(AssignMat)
        # 改变聚类中心
        # print(AssignMat[:,0] == 1)
        # print(centroidMat)
        for p in range(k):
            pointInCluster = np.nonzero((AssignMat[:, 0] == p))[0]
            centroidMat[p, :] = np.mean(data[pointInCluster, :], axis=0)
    return centroidMat, AssignMat


def show(data, centroid, assignMat, k):
    dim = data.shape[1]
    if dim > 2:
        print('维度错误')
        return 1
    mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '<r', 'pr']
    for i in range(len(data)):
        index = int(assignMat[i, 0])
        plt.plot(data[i, 0], data[i, 1], mark[index])
    mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '<b', 'pb']

    for j in range(k):
        plt.plot(centroidMat[j, 0], centroidMat[j, 1], mark[j], markersize=13)
    plt.show()


if __name__ == '__main__':
    # print(loadData())
    data = loadData()
    k = 4
    centroidMat, AssignMat = k_means(data, k)
    print(AssignMat)
    show(data, centroidMat, AssignMat, k)

运行结果：