机器学习之K-means算法（小白入门级别）

算法流程描述

  K-means算法又名k均值算法,K-means算法中的k表示的是聚类为k个簇，means代表取每一个聚类中数据值的均值作为该簇的中心，或者称为质心，即用每一个的类的质心对该簇进行描述。
  其算法思想大致为：先从样本集中随机选取 k个样本作为簇中心，并计算所有样本与这 k个“簇中心”的距离，对于每一个样本，将其划分到与其距离最近的“簇中心”所在的簇中，对于新的簇计算各个簇的新的“簇中心”。
  根据以上描述，我们大致可以猜测到实现K-means算法的主要四点：
  （1）簇个数 k 的选择
  （2）各个样本点到“簇中心”的距离
  （3）根据新划分的簇，更新“簇中心”
  （4）重复上述2、3过程，直至"簇中心"没有移动

算法流程

---

基本K均值算法

---

1.选择K个点作为初始质心。
2.repeat
3.  将每个点指派到最近的质心，形成K个簇。
4.   重新计算每个簇的质心。
5. until 质心不再发生变化

---

K值的选择

  K值的选择影响聚类效果，在进行离群点检测时，对象是否被认为是离群点可能依赖于聚类的个数。K 的选择一般是按照实际需求进行决定，或在实现算法时直接给定 K 值。

质心的初始化

  选择恰当的初始质心是基本K均值过程的关键步骤，常见的方法是随机选取，但是这样簇的质量往往很差，可能只能得到局部最优。
  处理选取质心问题的一种常用技术是：多次运行，每次使用一组不同的随机初始质心，然后选取具有最小SSE的簇集。还有其他更加有效的技术，比如K-means++、二分K-means、使用后处理来“修补”所产生的簇集等，在文章最后的结论中有讲解。
  在下面的实现中初始的质心是随机选取的。

距离的度量

  将对象点分到距离聚类中心最近的那个簇中需要最近邻的度量策略，在欧式空间中采用的是欧式距离，在处理文档中采用的是余弦相似度函数，有时候也采用曼哈顿距离作为度量，不同的情况实用的度量公式是不同的。
  欧氏距离：
  曼哈顿距离：
  余弦相似度函数：

新质心的计算

  对于分类后的产生的k个簇，分别计算到簇内其他点距离均值最小的点作为质心（对于拥有坐标的簇可以计算每个簇坐标的均值作为质心）。经过这一步会产生K个质心，继续作为上一步的聚类中心。

是否停止K-means

  当质心不再改变，或给定loop最大次数loopLimit时结束算法。

python实现代码

各方法的解释

  calcDis函数用于计算欧拉距离，classify函数用于计算新的质心，kmeans函数用于kmeans分类，loadDataSet函数用于加载数据集。最初的k值为随机确定。

代码

import random
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 计算欧拉距离
def calcDis(dataSet, centroids, k):
    clalist = []
    for data in dataSet:
        diff = np.tile(data, (k, 1)) - centroids  # 相减   (np.tile(data,(k,1))就是把data先沿x轴复制1倍，即没有复制，比如是 [0,1,2]。
        # 再把结果沿y方向复制k倍得到array([[0,1,2],[0,1,2],...]))
        squaredDiff = diff ** 2  # 平方
        squaredDist = np.sum(squaredDiff, axis=1)  # 和  (当axis为1时,是压缩列,即将每一行的元素相加,将矩阵压缩为一列)
        distance = squaredDist ** 0.5  # 开根号
        clalist.append(distance)
    clalist = np.array(clalist)  # 返回一个每个点到质点的距离len(dateSet)*k的数组
    return clalist

# 计算质心
def classify(dataSet, centroids, k):