python中kmeans用的是什么距离_python Kmeans算法原理深入解析

一. 概述

首先需要先介绍一下无监督学习，所谓无监督学习，就是训练样本中的标记信息是位置的，目标是通过对无标记训练样本的学习来揭示数据的内在性质以及规律。通俗得说，就是根据数据的一些内在性质，找出其内在的规律。而这一类算法，应用最为广泛的就是“聚类”。

聚类算法可以对数据进行数据归约，即在尽可能保证数据完整的前提下，减少数据的量级，以便后续处理。也可以对聚类数据结果直接应用或分析。

而Kmeans 算法可以说是聚类算法里面较为基础的一种算法。

二. 从样例开始

我们现在在二维平面上有这样一些点

x y

1.658985 4.285136

-3.453687 3.424321

4.838138 -1.151539

-5.379713 -3.362104

0.972564 2.924086

-3.567919 1.531611

0.450614 -3.302219

-3.487105 -1.724432

2.668759 1.594842

-3.156485 3.191137

3.165506 -3.999838

-2.786837 -3.099354

4.208187 2.984927

-2.123337 2.943366

0.704199 -0.479481

-0.392370 -3.963704

2.831667 1.574018

-0.790153 3.343144

2.943496 -3.357075

...

它在二维平面上的分布大概是这样的：

好，这些点看起来隐约分成4个“簇”，那么我们可以假定它就是要分成4个“簇”。(虽然我们可以“看”出来是要分成4个“簇”，但实际上也可以分成其他个，比如说5个。)这里分成“4个簇“是我们看出来的。而在实际应用中其实应该由机器算得，下面也会有介绍的。

找出4个”簇”之后，就要找出每个“簇”的中心了，我们可以“看出”大概的中心点，但机器不知道啊。那么机器是如何知道的呢？答案是通过向量距离，也叫向量相似性。这个相似性计算有多种方法，比如欧式距离，曼哈顿距离，切比雪夫距离等等。

我们这里使用的是欧式距离，欧式距离其实就是反应空间中两点的直线距离。

知道这些后，我们就可以开始让机器计算出4个“簇”了。

主要做法是这样，先随机生成4个点，假设这4个点就是4个“簇”的中心。计算平面中每个点到4个中心点的距离，平面中每个点选取距离最近的那个中心作为自己的中心。

此时我们就完成第一步，将平面中所有点分成4个”簇“。但是刚刚那几个中心都是随机的，这样分成的4个簇明显不是我们想要的结果。怎么办呢？做法如下：

现在有4个簇，根据每个簇中所有点计算出每个簇的新中心点。这个新中心点就会比上一个旧的中心点更优，因为它更加中心。然后使用新中心点重复第一步的步骤。即再对平面中所有点算距离，然后分发到4个新簇中。不断迭代，直到误差较小。

这就是 Kmeans 算法的过程了。

三. 知识点浅析

3.1 确定“簇”