1、 问题描述及实验要求
K-means算法对data中数据进行聚类分析
(1)算法原理描述
(2)算法结构
(3)写出K-means具体功能函数(不能直接调用sklearn.cluster(Means)功能函数)具体函数功能中返回值包括 数据类标签,累中心,输入包括:数据,类别数
(4)可视化画图,不同类数据采用不同颜色
(5)算法分析
类类方差,平均方差,不同初始点对聚类结果的影响?
如何解决?
2、 算法原理描述
K-means算法原理:
1、首先输入分组k 的值,即通过指定分组数目得到 k 个分组;
2、从数据集中随机选取 k 个数据点作为初始中心;
3、对集合中每一数据点,计算与每一个中心点的距离,离哪个中心点距离近,就加入中心点对应的组。
4、对k个组计算距离的平均值
5、如果两次求得的均值距离小于某一个设置的阈值(表示重新计算的质心的位置变化不大,趋于稳定,或者说收敛),可以认为我们进行的聚类已经达到期望的结果,算法终止。
6、果两次求得的均值距离大于某一个设置的阈值,继续迭代,如果迭代次数大于设定的值,那么终止。
3、 算法结构
1) 首先定义了一个类:K_Means,该类中有5个属性以及2个方法。5个属性包括:k是分组数,tolerance最小误差,max_iter最大迭代次数,centers_存放中心点坐标,clf_存放分组坐标;2个方法是:_init_构造函数,fit执行迭代。
2) 对于fit函数。首先从数据集data中取出k个点作为中心点,然后遍历数据集中的每个点,计算这个点与k个中心点坐标的距离,把最小的距离添加到对应的分组中去。然后根据k个分组的内容,更新出k个新的中心点坐标,与上一次中心点坐标比对,如果误差值都小于设定值,那么结束,如果不小于,那么继续迭代,如果迭代超过了指定次数,那么也停止。
4、 K-means算法代码
总代码在文末
class K_Means(object):
def __init__(self, k=2, tolerance=0.0001, max_iter=300):
self.k_ = k
self.tolerance_ = tolerance
self.max_iter_ = max_iter
def fit(self, data):
self.centers_ = {}
for i in range(self.k_):
self.centers_[i] = data[i]
for i in range(self.max_iter_):
self.clf_ = {}
for i in range(self.k_):
self.clf_[i] = []
for feature in data:
distances = []
for center in self.centers_:
distances.append(np.linalg.norm(feature - self.centers_[center]))
classification = distances.index(min(distances))
self.clf_[classification].append(feature)
prev_centers = dict(self.centers_)
for c in self.clf_:
self.centers_[c] = np.average(self.clf_[c], axis=0)
optimized = True
for center in self.centers_:
org_centers = prev_centers[center]
cur_centers = self.centers_[center]
if np.sum((cur_centers - org_centers) / org_centers * 100.0) > self.tolerance_:
optimized = False
if optimized:
break
5、 实验结果
实验结果截图:
图1-散点图观察特征
图2-聚类分析图
6、 算法分析
如果想看初始点、方差等对结果的影响,可以采用初中最常用的控制变量法:
①算法相同,初始点对结果的影响:
次数 | 中心点1 | 中心点2 | 中心点3 | 中心点4 |
---|---|---|---|---|
1 | [2.6265299,3.10868015] | [-2.46154315, 2.78737555] | [2.80293085, -2.7315146 ] | [-3.38237045, -2.9473363 ] |
2 | [-3.53973889, -2.89384326] | [2.6265299 , 3.10868015] | [-2.46154315, 2.78737555] | [2.65077367, -2.79019029] |
结论1:可以看出,初始点选取的不同,中心点的坐标会有略微变化(不应该一一对应)
②初始点相同,类间方差与平均方差对结果的影响:
次数 | 中心点1 | 中心点2 | 中心点3 | 中心点4 |
---|---|---|---|---|
类间方差 | [2.80293085, -2.7315146 ] | [-3.38237045, -2.9473363 ] | [2.6265299 , 3.10868015] | [-2.46154315, 2.78737555] |
平均方差 | [-3.53973889, -2.89384326] | [2.6265299 , 3.10868015] | [-2.46154315, 2.78737555] | [ 2.80293085, -2.7315146 ] |
**结论2:**可以看出,算法的不同,中心点的坐标会有略微变化(不应该一一对应)
总结论:(如果没有发生偶然性)**对于中心点的不同选择、算法不同的选择,都会导致结果产生一些改变。**由于结果是由各个分组算出来的均值,所以也意味着:对于中心点的不同选择、算法不同的选择,都会导致分组划分不一样。
7、 所有代码
import numpy as np
from matplotlib import pyplot as plt
plt.rcParams['font.family'] = ['Microsoft YaHei']
class K_Means(object):
def __init__(self, k=2, tolerance=0.0001, max_iter=300):
self.k_ = k
self.tolerance_ = tolerance
self.max_iter_ = max_iter
def fit(self, data):
self.centers_ = {}
for i in range(self.k_):
self.centers_[i] = data[i+19]
for i in range(self.max_iter_):
self.clf_ = {}
for i in range(self.k_):
self.clf_[i] = []
for feature in data:
distances = []
for center in self.centers_:
distances.append(np.linalg.norm(feature - self.centers_[center]))
classification = distances.index(min(distances))
self.clf_[classification].append(feature)
prev_centers = dict(self.centers_)
for c in self.clf_:
self.centers_[c] = np.average(self.clf_[c], axis=0)
optimized = True
for center in self.centers_:
org_centers = prev_centers[center]
cur_centers = self.centers_[center]
if np.sum((cur_centers - org_centers) / org_centers * 100.0) > self.tolerance_:
optimized = False
if optimized:
break
# 读取data.txt里面的值
data = np.loadtxt('data.txt', dtype=float, delimiter=" ")
X = data[..., 0]
Y = data[..., 1]
plt.title("散点图观察特诊")
plt.xlabel("X轴")
plt.ylabel("Y轴")
plt.plot(X, Y, 'ob')
plt.show()
if __name__ == '__main__':
k_means = K_Means(k=4)
k_means.fit(data)
print(k_means.centers_)
rgb = ['r', 'g', 'b', 'y']
for center in k_means.centers_:
plt.scatter(k_means.centers_[center][0], k_means.centers_[center][1], marker='*', s=150)
for cat in k_means.clf_:
for point in k_means.clf_[cat]:
plt.scatter(point[0], point[1], c=rgb[cat])
plt.show()