k均值的损失函数_斯坦福大学机器学习笔记——聚类（k-均值聚类算法、损失函数、初始化、聚类数目的选择）...

上面的博客的算法都是有监督学习的算法，即对于每个数据我们都有该数据对应的标签，数据集的形式如下：

而今天我们学习的算法是一种无监督学习的算法——聚类，该算法中的每个数据没有标签，数据集的形式如下：

K-均值聚类

k-均值聚类是一种最常见的聚类算法，该算法对没有标签的数据集进行训练，然后将数据集聚类成不同的类别。

k-均值聚类是一种迭代算法，该方法的过程如下：

1. 选择K个随机点，作为聚类中心；

2. 对于数据集中的每个数据计算与K个聚类中心的距离，将其与距离最近的聚类中心关联起来，将属于同一个聚类中心的样本聚成一类(也叫作簇)；

3. 计算每一个簇所有样本的均值，将聚类中心移动到平均值的位置。

重复上述步骤2-3，直到聚类中心不再发生变化为止。

该算法的伪代码如下：

其中，c(i)代表x(i)被分配的聚类的索引值，c(i)∈{1,2,...,K}，μk是类别为k的聚类中心。

该算法主要有两个关键步骤：第一步为簇分类，即对于每一个样本i，计算其应该属于的类别，计算的公式为：

mink||xi−μk||2

第二步为更新聚类中心(移动聚类中心)，即：对于每一个类k，重新计算该类的质心。

在进行k均值的时候偶尔会出现一种问题，那就是如果没有点分配给它的聚类中心怎么办？也就是说，你初始化的聚类中心，在进行簇分类之后，可能会出现该簇一个样本也没有。在这种情况下，我们一般移除那个聚类中心，这样就会得到K-1个簇，如果必须分成K个簇，则要重新随机找一个聚类中心，但是一般情况下我们都是将该聚类中心直接去掉(这种问题出现的情况很少)。

k-均值聚类的目标函数：

了解k-均值聚类代价函数有两个目的：

1. 能够帮助我们调试学习算法，确保k均值聚类算法是在正确运行中；

2. 能够运用代价函数帮助k-均值找到更好的簇，并且避免局部最优解(在下文中会讲述到)。

k-均值最小化