kmeans算法_KMeans聚类算法详解

1. 写在前面

如果想从事数据挖掘或者机器学习的工作，掌握常用的机器学习算法是非常有必要的，常见的机器学习算法：

• 监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等
• 无监督算法：聚类，降维，关联规则, PageRank等

为了详细的理解这些原理，曾经看过西瓜书，统计学习方法，机器学习实战等书，也听过一些机器学习的课程，但总感觉话语里比较深奥，读起来没有耐心，并且理论到处有，而实战最重要， 所以在这里想用最浅显易懂的语言写一个白话机器学习算法理论+实战系列。

个人认为，理解算法背后的idea和使用，要比看懂它的数学推导更加重要。idea会让你有一个直观的感受，从而明白算法的合理性，数学推导只是将这种合理性用更加严谨的语言表达出来而已，打个比方，一个梨很甜，用数学的语言可以表述为糖分含量90%，但只有亲自咬一口，你才能真正感觉到这个梨有多甜，也才能真正理解数学上的90%的糖分究竟是怎么样的。如果算法是个梨，本文的首要目的就是先带领大家咬一口。另外还有下面几个目的：

• 检验自己对算法的理解程度，对算法理论做一个小总结
• 能开心的学习这些算法的核心思想， 找到学习这些算法的兴趣，为深入的学习这些算法打一个基础。
• 每一节课的理论都会放一个实战案例，能够真正的做到学以致用，既可以锻炼编程能力，又可以加深算法理论的把握程度。
• 也想把之前所有的笔记和参考放在一块，方便以后查看时的方便。

学习算法的过程，获得的不应该只有算法理论，还应该有乐趣和解决实际问题的能力！

今天是白话机器学习算法理论+实战的第八篇 之KMeans聚类算法， 听到这个名字，你可别和第七篇K近邻算法搞混了，K-Means 是一种非监督学习，解决的是聚类问题，这里的K表示的是聚成K类。而之前的K近邻算法是监督学习算法，解决的是分类问题，这里的K表示的是K个邻居。相差十万八千里吧， 一条取经路呢。一定要区分开。这个算法也不是很难，前面说道，K近邻算法的原理可以用八个大字叫做“近朱者赤，近墨者黑”来总结，这里我依然放出八个大字：“人以类聚，物以群分”，形容KMeans最好不过了。

通过今天的学习，掌握KMeans算法的工作原理，然后会使用sklearn实现KMeans聚类，最后我们来做一个实战项目：如何使用KMeans对图像进行分割？ 下面我们开始吧。

大纲如下：

• KMeans聚类的工作原理(结合足球队等级划分谈一谈)
• 20支亚洲足球队，你能划分出等级吗？(KMeans聚类应用)
• KMeans聚类的实战：图像分割

OK， let's go!

2. K-Means的工作原理

上面我们说过，K-Means 是一种非监督学习，解决的是聚类问题。K 代表的是 K 类，Means 代表的是中心，你可以理解这个算法的本质是确定 K 类的中心点，当你找到了这些中心点，也就完成了聚类。

那么这里有两个问题：如何确定K类的中心点？如何把其他类划分到K个类中去？

先别慌， 先和我考虑一个场景，假设我有 20 支亚洲足球队，想要将它们按照成绩划分成 3 个等级，可以怎样划分？

元芳， 你怎么看？

★

对亚洲足球队的水平，你可能也有自己的判断。比如一流的亚洲球队有谁？你可能会说伊朗或韩国。二流的亚洲球队呢？你可能说是中国。三流的亚洲球队呢？你可能会说越南。

”

其实这些都是靠我们的经验来划分的，那么伊朗、中国、越南可以说是三个等级的典型代表，也就是我们每个类的中心点。

所以回过头来，如何确定 K 类的中心点？一开始我们是可以随机指派的，当你确认了中心点后，就可以按照距离将其他足球队划分到不同的类别中。

这也就是 K-Means 的中心思想，就是这么简单直接。

你可能会问：如果一开始，选择一流球队是中国，二流球队是伊朗，三流球队是韩国，中心点选择错了怎么办？其实不用担心，K-Means 有自我纠正机制，在不断的迭代过程中，会纠正中心点。中心点在整个迭代过程中，并不是唯一的，只是你需要一个初始值，一般算法会随机设置初始的中心点。

那下面就给出K-Means的工作原理，两步就搞定，就是那两个问题的解决：

1. 选取 K 个点作为初始的类中心点，这些点一般都是从数据集中随机抽取的；
2. 将每个点分配到最近的类中心点，这样就形成了 K 个类，然后重新计算每个类的中心点；(这个怎么算最近，一般是欧几里得距离公式， 那么怎么重新计算每个类的中心点， 每个维度的平均值就可以的)
3. 重复第二步，直到类不发生变化，或者你也可以设置最大迭代次数，这样即使类中心点发生变化，但是只要达到最大迭代次数就会结束。

什么？还不明白？ 好吧，那直接看看亚洲球队聚类的例子吧

3. 如何给亚洲球队做聚类

对于机器来说需要数据才能判断类中心点，所以下面整理了 2015-2019 年亚洲球队的排名，如下表所示。

我来说明一下数据概况。

其中 2019 年国际足联的世界排名，2015 年亚洲杯排名均为实际排名。2018 年世界杯中