机器学习系列手记（五）：非监督学习之K均值聚类

非监督学习

      实际工作中经常遇到的一类问题是：给机器输入大量的特征数据，并期望机器通过学习找到数据中存在的某种共性特征或结构，抑或是数据之间存在的某种关联，这类问题被称为“非监督学习”问题。它并不像监督学习那样希望预测某种输出结果，有没有输入数据的标签，需要通过算法模型来挖掘数据内在的结构和模式。非监督学习主要包含两大类学习方法：数据聚类和特征变量关联。其中，聚类算法往往是通过多次迭代来找到数据的最优分割，而特征变量关联则是利用各种相关性分析方法来找到变量间的关系。

K均值聚类

      与分类问题不同，聚类是在事先并不知道任何样本类别标签的情况下，通过数据之间的内在关系把样本划分为若干类别，使得同类别样本之间的相似度高，不同类别之间的样本相似度低。因而，聚类问题属于非监督学习。

1、K均值聚类

      K均值聚类（K-Means Clustering）是最基础和最常用的聚类算法，它的基本思想是通过迭代方式寻找K个簇（Cluster）的一种划分方案，使得聚类结果对应的代价函数最小。特别的，代价函数可以定义为各个样本距离所属簇中心点的误差平方和
$$J(c,\mu )=\sum _{i=1}M||x_i-{\mu }_{C_i}|{|}^2$$
其中$x_i$代表第$i$个样本，$c_i$是$x_i$所属于的簇，${\mu }_{c_i}$