浅析K-means聚类，具体代码实现，通俗易懂

浅析K-means聚类，具体代码实现

总述

K-means的目的是分类，将一些样本划分成若干蔟，本文将用二维平面上的样本点举例，如图

数学描述

对于蔟$C(C_1,C_2,\cdots ,Cn)$,其质心（可以理解为中心，重心）$\mu ({\mu }_1,{\mu }_2,\cdots ,{\mu }_n)$,对于样本点$M((x_1,y_1),\cdots (x_n,y_n))$

质心的计算方法

$M_1-M_n$属于蔟$C_i$,质心${\mu }_i$,
$${\mu }_i=\frac{1}{|C_i|}\sum _{M\in C_i}M$$
是不是有一点糊涂，我举一个二维平面 的实际例子，有点（1，3）（5，6）它们的质心就为（1+5）/2=3，（3+6）/2=4.5，所以质心为（3，4.5）

选定初始点(质心)

选定k个初始点，通俗讲观察点的分布，直觉判断大概有多少（k）蔟，蔟的中心大概在哪里。

分类样本

如何判断样本是属于哪一蔟？
很简单，样本点距离哪一个蔟的质心越近就属于哪一个蔟，距离${\mu }_i$的距离$Di$ $$D_i=||M_i-{\mu }_i||$$
在二维平面内取L2范数，即使欧几里得距离，点与点之间的距离$\sqrt{(x_1-x_2{)}^2+(y_1-y_2{)}^2}$

反复计算质心分类样本

通过选定的初始质心，分类每一个样本点，分类完成后更新每一个蔟的质心，再进行分类，如此直到质心不在发生变化，即是说明每一个点都分类好了。

实现

会用到的两个库

import numpy as np
import matplotlib.pyplot as plt

生成测试数据

可以看到生成了3蔟的数据

s1x = np.random.normal(0, 0.5, 50)
s1y = np.random.normal(0, 0.5, 50)
s2x = np.random.normal(3, 0.5, 50)
s2y = np.random.normal(3, 0.5, 50)
s3x = np.random.normal(3, 0.5, 50)
s3y = np.random.normal(-3, 0.5, 50)
x_t = np.concatenate((s1x, s2x, s3x))
y_t = np.concatenate((s1y, s2y, s3y))

选定初始点(质心)

# 3个蔟，初始化质心
c1 = list()
c2 = list()
c3 = list()
ch1 = (1, 1)
ch2 = (3, 3)
ch3 = (2, -5)

定义函数计算质心

def jszx(c):
    sumx = 0
    sumy = 0
    for k in range(len(c)):
        jszx_temp = c[k]
        sumx += jszx_temp[0]
        sumy += jszx_temp[1]
    sumx /= len(c)
    sumy /= len(c)
    return sumx, sumy

分类样本

    for j in range(len(x_t)):
        dj1 = (x_t[j] - ch1[0]) ** 2 + (y_t[j] - ch1[1]) ** 2
        dj2 = (x_t[j] - ch2[0]) ** 2 + (y_t[j] - ch2[1]) ** 2
        dj3 = (x_t[j] - ch3[0]) ** 2 + (y_t[j] - ch3[1]) ** 2
        if dj1 == min(dj2, dj3, dj1):
            c1.append((x_t[j], y_t[j]))
        elif dj2 == min(dj2, dj3, dj1):
            c2.append((x_t[j], y_t[j]))
        elif dj3 == min(dj2, dj3, dj1):
            c3.append((x_t[j], y_t[j]))

反复计算质心分类样本

for i in range(1000):
    c1.clear()
    c2.clear()
    c3.clear()
    c1.append(ch1)
    c2.append(ch2)
    c3.append(ch3)
    for j in range(len(x_t)):
        dj1 = (x_t[j] - ch1[0]) ** 2 + (y_t[j] - ch1[1]) ** 2
        dj2 = (x_t[j] - ch2[0]) ** 2 + (y_t[j] - ch2[1]) ** 2
        dj3 = (x_t[j] - ch3[0]) ** 2 + (y_t[j] - ch3[1]) ** 2
        if dj1 == min(dj2, dj3, dj1):
            c1.append((x_t[j], y_t[j]))
        elif dj2 == min(dj2, dj3, dj1):
            c2.append((x_t[j], y_t[j]))
        elif dj3 == min(dj2, dj3, dj1):
            c3.append((x_t[j], y_t[j]))
    # 重新计算质心
    temp_ch1 = jszx(c1)
    temp_ch2 = jszx(c2)
    temp_ch3 = jszx(c3)
    # 更新质心
    if ch1 != temp_ch1 or ch2 != temp_ch2 or ch3 != temp_ch3:
        ch1 = temp_ch1
        ch2 = temp_ch2
        ch3 = temp_ch3
    else:
        break

整体代码

import numpy as np
import matplotlib.pyplot as plt


# 计算质心
def jszx(c):
    sumx = 0
    sumy = 0
    for k in range(len(c)):
        jszx_temp = c[k]
        sumx += jszx_temp[0]
        sumy += jszx_temp[1]
    sumx /= len(c)
    sumy /= len(c)
    return sumx, sumy


# 随机生成数据
s1x = np.random.normal(0, 0.5, 50)
s1y = np.random.normal(0, 0.5, 50)
s2x = np.random.normal(3, 0.5, 50)
s2y = np.random.normal(3, 0.5, 50)
s3x = np.random.normal(3, 0.5, 50)
s3y = np.random.normal(-3, 0.5, 50)
x_t = np.concatenate((s1x, s2x, s3x))
y_t = np.concatenate((s1y, s2y, s3y))
# plt.plot(x_t, y_t, 'o')
# 3个蔟，初始化质心
c1 = list()
c2 = list()
c3 = list()
ch1 = (1, 1)
ch2 = (3, 3)
ch3 = (2, -5)
# plt.plot(ch1[0], ch1[1], 'ro')
# plt.plot(ch2[0], ch2[1], 'ro')
# plt.show()
# 迭代1000次
for i in range(1000):
    c1.clear()
    c2.clear()
    c3.clear()
    c1.append(ch1)
    c2.append(ch2)
    c3.append(ch3)
    for j in range(len(x_t)):
        dj1 = (x_t[j] - ch1[0]) ** 2 + (y_t[j] - ch1[1]) ** 2
        dj2 = (x_t[j] - ch2[0]) ** 2 + (y_t[j] - ch2[1]) ** 2
        dj3 = (x_t[j] - ch3[0]) ** 2 + (y_t[j] - ch3[1]) ** 2
        if dj1 == min(dj2, dj3, dj1):
            c1.append((x_t[j], y_t[j]))
        elif dj2 == min(dj2, dj3, dj1):
            c2.append((x_t[j], y_t[j]))
        elif dj3 == min(dj2, dj3, dj1):
            c3.append((x_t[j], y_t[j]))
    # 重新计算质心
    temp_ch1 = jszx(c1)
    temp_ch2 = jszx(c2)
    temp_ch3 = jszx(c3)
    # 更新质心
    if ch1 != temp_ch1 or ch2 != temp_ch2 or ch3 != temp_ch3:
        ch1 = temp_ch1
        ch2 = temp_ch2
        ch3 = temp_ch3
    else:
        break
    print(i)

# 查看效果
for i in range(len(c1)):
    temp = c1[i]
    plt.plot(temp[0], temp[1], 'bo')

for i in range(len(c2)):
    temp = c2[i]
    plt.plot(temp[0], temp[1], 'r*')

for i in range(len(c3)):
    temp = c3[i]
    plt.plot(temp[0], temp[1], 'g+')
plt.savefig('3class.jpg')
plt.show()