第31课：KMeans——最简单的聚类算法

什么是聚类（Clustering）

聚类并非一种机器学习专有的模型或算法，而是一种统计分析技术，在许多领域受到广泛应用。

广义而言，聚类就是通过对样本静态特征的分析，把相似的对象，分成不同子集（后面我们将聚类分出的子集称为“簇”），被分到同一个子集中的样本对象都具有相似的属性。

在机器学习领域，聚类属于一种无监督式学习算法。

许多聚类算法在执行之前，需要指定从输入数据集中产生的分簇的个数。除非事先准备好一个合适的值，否则必须决定一个大概值，这是当前大多数实践的现状。我们今天要讲的 KMeans 就是如此。

常用的几种距离计算方法

通常情况下，在聚类算法中，样本的属性主要由其在特征空间中的相对距离来表示。这就使得距离这个概念，对于聚类非常重要。

在正式讲解聚类算法之前，我们先来看几种最常见的距离计算方法。

欧式距离（又称 2-norm 距离）

在欧几里德空间中，点 $x =(x_1,...,x_n)$ 和 $y =(y_1,...,y_n)$ 之间的欧氏距离为：

$ {d(x,y)={\sqrt {(x_{1}-y_{1})^{2}+(x_{2}-y_{2})^{2}+\cdots +(x_{n}-y_{n})^{2}}}={\sqrt {\sum _{i=1}^{n}(x_{i}-y_{i})^{2}}}} $

在欧几里德度量下，两点之间线段最短。

余弦距离（又称余弦相似性）

两个向量间的余弦值可以通过使用欧几里德点积公式求出：

${ {a} \cdot {b} =\left|{a}