kmeans算法原理介绍

一、基本思想

    1、选取K个点做为初始聚集的簇心

    2、分别计算每个样本点到 K个簇核心的距离（这里的距离一般取欧氏距离或余弦距离），找到离该点最近的簇核心，将它归属到对应的簇

    3、所有点都归属到簇之后， M个点就分为了 K个簇。之后重新计算每个簇的重心（平均距离中心），将其定为新的“簇核心”；

    4、反复迭代 2 - 3 步骤，直到达到某个中止条件

  常用的中止条件有迭代次数、最小平方误差MSE、簇中心点变化率

算法描述如下：

二、优化目标

　　k-means的损失函数是平方误差：

其中ωk表示第k个簇，u(ωk)表示第k个簇的中心点，RSSk是第k个簇的损失函数，RSS表示整体的损失函数。优化目标就是选择恰当的记录归属方案，使得整体的损失函数最小。

三、中心点的选择

　　k-meams算法的能够保证收敛，但不能保证收敛于全局最优点，当初始中心点选取不好时，只能达到局部最优点，整个聚类的效果也会比较差。可以采用以下方法：k-means中心点

　　1、选择彼此距离尽可能远的那些点作为中心点；

　　2、先采用层次进行初步聚类输出k个簇，以簇的中心点的作为k-means的中心点的输入。

　　3、多次随机选择中心点训练k-means，选择效果最好的聚类结果

四、缺点

1、K值的选择： k 值对最终结果的影响至关重要，而它却必须要预先给定。给定合适的 k 值，需要先验知识，凭空估计很困难，或者可能导致效果很差。

2、异常点的存在：K-means算法在迭代的过程中使用所有点的均值作为新的质点(中心点)，如果簇中存在异常点，将导致均值偏差比较严重。

3、初值敏感：K-means算法是初值敏感的，选择不同的初始值可能导致不同的簇划分规则。为了避免这种敏感性导致的最终结果异常性，可以采用初始化多套初始节点构造不同的分类规则，然后选择最优的构造规则。针对这点后面因此衍生了：二分K-Means算法、K-Means++算法、K-Means||算法、Canopy算法等。

五、代码

from matplotlib import pyplot as plt
import random
import numpy as np
from math import sqrt

# 初始化一组数据
x_list=[random.randint(1,100) for i in range(50)]
y_list=[random.randint(1,100) for i in range(50)]
xy_axis=[]
for i in range(len(x_list)):
    xy_axis.append([x_list[i],y_list[i]])
print(xy_axis)
xy_axis=np.array(xy_axis)

# 可视化
x=xy_axis[:,0]
y=xy_axis[:,1]
plt.scatter(x,y)

# 距离函数
def eu_dis(x,y):
    return sqrt((x[0]-y[0])**2+(x[1]-y[1])**2)
 
 # 定义Kmeans算法
 def Kmeans(xy_axis,k,time):
    n=len(xy_axis)
    center_list=[] # 存放质心的下标
    cluster_center=[] # 存放质心坐标
    cluster={} # 存放每个类包含的数据的坐标
    for i in range(k):
        cluster[i]=[]
        center_list.append(random.randint(0,n-1))
        cluster_center.append(xy_axis[center_list[i]])
    # 迭代time次
    for o in range(time):
        for i in range(k):
            cluster[i]=[]
        # 遍历每一个数据
        for i in range(n):
            if i not in center_list:
                min_dis=10000000
                pos=-1
                # 寻找最近的质心
                for j in range(k):
                    dis=eu_dis(cluster_center[j],xy_axis[i])
                    if dis<min_dis:
                        min_dis=dis
                        pos=j
                # 更新最近的质心的坐标
                cluster_center[pos][0]=(cluster_center[pos][0]+xy_axis[i][0])/2
                cluster_center[pos][1]=(cluster_center[pos][1]+xy_axis[i][1])/2
                # 将该数据加入到该质心所在的类中
                cluster[pos].append(i)
    for i in range(k):
        print(i,cluster[i])
    # 数据可视化
    x=xy_axis[:,0]
    y=xy_axis[:,1]
    plt.scatter([x[i] for i in cluster[0]],[y[j] for j in cluster[0]],c='b')
    plt.scatter([x[i] for i in cluster[1]],[y[j] for j in cluster[1]],c='r')
    plt.scatter([x[i] for i in cluster[2]],[y[j] for j in cluster[2]],c='y')
    plt.show()
   
   # 调用
   Kmeans(xy_axis,3,10)