K-means聚类实验/Python

一、实验目标：

对cluster.dat中的二维点对进行聚类分析。

二、本次实验方法：

采用K-Means模型进行聚类，将聚类结果图示表达，用颜色区分不同簇的点，分析不同K值下的聚类结果，使用的编程语言为Python。

三、算法原理：

K-Means算法的目标是将原始数据分为K簇，每一簇都有一个中心点，这也是簇中点的均值点，簇中所有的点到所属的簇的中心点的距离都比到其他簇的中心点更近。

四、算法流程：

1. 随机确定K个点作为质心（在本次实验中，我在数据中使用随机数选择了K个点作为初始质心）
2. 找到离每个点最近的质心，将这个点分配到这个质心代表的簇里
3. 再对每个簇进行计算，以点簇的均值点作为新的质心
4. 如果新的质心和上一轮的不一样，则迭代进行2-3步骤，直到质心位置稳定

五、不同K值下的聚类结果图示：

聚类开始之前原始数据点：

K=3时：

K=4时：

K=5时：

K=6时：

六、测试方法：

使用量化的误差指标：误差平方和SSE(sum of the squared errors)，来评价算法的结果。

使用此函数来计算结果的SSE。
每次K取不同值时，记录5次数据集和训练集的SSE，取平均值，可以得到如下表格。

画出图示：

训练集：

测试集：

由左至右k=2,3,4,5,6,7，SSE会随着K的变大而减小。可以看出在k=4之后，随着k的增大，SSE的下降减缓了，再增加K得到的聚合回报变小，也就是k=4应该为最佳聚类数。

结合上一部分的图像，可以看到当K=3时，数据点的分类其实是不充分的。而当K=5时，数据点上方十分密集的数据点却经常因为右上角噪音点的影响被从中间分成两簇，这是不符合实际情况的，当k>5时，聚类结果就会显得愈加杂乱。结合图像，K=4仍然是最好的选择。
下图是我相对满意的聚类结果图：

七、实验总结

K-Means是机器学习聚类中的经典算法。虽然它有一些缺点：依赖于原始质心、会陷入局部最优的情况、对噪音和异常点比较敏感，但在我看来，它的可解释程度、通俗易懂程度，是十分出色的，整个算法没有复杂的点。这次实验对我的挑战性在于编程语言：Python。在这之前我对Python是陌生的，在断断续续编码的几天过程中，边完善算法，边学习编程语言，虽然也有大大小小的问题，最后都成功解决了，能打印出聚类的结果图的时候还是很有满足感得。聚类是个很有趣的问题！

八、源代码

import numpy as np
import math
import pandas as pd
from numpy import *
import matplotlib.pyplot as plt
import random
import operator
plt.rcParams["font.sans-serif"]=["SimHei"]
plt.rcParams["axes.unicode_minus"]=False 

fo=open("cluster.dat")
DataSet=[]
while True:
    line=fo.readline()
    if not line:
        break            #读取结束就跳出
    lines=line.split()
    for i in lines:
        DataSet.append(float(i)