K-means算法、EM算法——斯坦福CS229机器学习个人总结（五）

这一份总结的主题是无监督学习的EM算法。
在前面提到的逻辑回归、SVM、朴素贝叶斯等算法，他们的训练数据都是带有标签的（预分类结果），这样的算法被称为监督学习。当训练数据没有标签，只提供特征时，称为无监督学习。
EM算法（Expectation maxmization algorithm，最大期望算法）就是一种无监督学习算法，而它的名字本身就已经包含了这个算法的特点以及做法——“期望”、“最大化”。
下面会从背后包含着强大EM算法思想的K-means算法开始，抛砖引玉，再介绍EM算法本身。

1、K-means聚类算法（The k-means clustering algorithm）

聚类算法是最常见的无监督算法，对于一组无标签数据，可以用聚类算法去发掘数据中的隐藏结构。聚类算法应用广泛，举例来说，对基因进行聚类，可以发掘不同物种中具有相同功能的基因片段；对顾客行为进行聚类，可以发掘出顾客的喜好情况，制定相应的促销策略；对新闻进行聚类，使得描述同一件事的报道不全部展示；在图片分割中，可以利用图片不同部分的相似性来理解图片信息等。

K-means算法就是一种聚类算法，给定没有标签的输入数据$\begin{Bmatrix} x^{(1)} ,x^{(2)},\cdots,x^{(m)}\end{Bmatrix}$，K-means算法的聚类过程如下：

①随机选择K个聚类质心为$\mu_1,\mu_2,\cdots,\mu_k\in R^n$
②重复下面过程直到收敛{

$\qquad \qquad$ E-step、对于每一个样本$i$，计算其应该属于的类

$\qquad \qquad\quad \ \ $ $c^{(i)}:=\arg\min_j\left \| x^{(i)}-\mu_j \right \|^2$

$\qquad \qquad$ M-step、对于每一个被分类的$j$，重新计算该类的质心位置

$\qquad \qquad\quad \ \ $ $\mu_j:=\frac{\sum_{i=1}^mI \begin{Bmatrix} c^{(i)}=j \end{Bmatrix}x^{(i)}}{\sum_{i=1}^mI \begin{Bmatrix} c^{(i)}=j \end{Bmatrix}}$
}

下图展示对两个质心进行聚类的过程。

图一
（a）原始数据
（b）随机初始化的两个质心红叉与蓝叉
（c）E-step，距离红叉更近的标记为红色，距离蓝叉更近的标记为蓝色
（d）M-step，根据红色类与蓝色类计算距离的平均值，更新质心（红叉与蓝叉）的位置
（e）E-step，距离红叉更近的标记为红色，距离蓝色更近的标记为蓝色
（f）M-step，根据红色类与蓝色类计算距离的平均值，更新质心（红叉与蓝叉）的位置
到了这里，如果再继续重复E步与M步，质心的位置也不会再发生变化，这表示算法已经收敛，聚类结束。

对于K-means算法来说，它要优化的目标函数路看成如下形式：

$$J(c,\mu)=\sum_{i=1}^m\left \| x^{(i)}-\mu_{c^{(i)}} \right \|^2$$
$J$函数表示每个样本点到其质心距离的平方和，K-means算法的目标是把它调到最小。可以想象，如果是样本点分类变了，证明它离该分类质心更近了（E-step）；如果质心位置变了，那么属于这一类的样本到质心的距离整体变小了（M-step）。
由于$J$函数不是凸函数，所以它的局部最优不一定是全局最优。为了达到更好的效果可以随机初始化多次质心的位置，取最小的$J$中对应的参数输出。
如果聚类结束后，某个质心附近没有任何属于它的样本，可以将这个质心删除，或者是重新初始化。

2、EM算法（Expectation maxmization algorithm，最大期望算法）

2.1、EM算法概述

EM算法是一个实实在在的算法，但是在我的理解中，它跟核函数、牛顿法类似，是一种计算的技巧，是为了解决某种计算问题而存在的——当我们进行最大似然估计的时候，如果该似然函数不能直接求解（求解困难或者无解），我们可以使用EM算法来求取其极值——这只是EM算法众多应用中的一种，但是就课程上能接触到的东西来说，我会按照这个思路做下去。

那么EM算法是如何对不能直接求解的似然函数取极值的？

图二（Ng在课上画的图）
$l(\theta)$表示一个对数似然性，我们尝试使它最大化，通常情况下直接对它求导并令其导数为0这样的计算是十分困难的。
EM算法的做法是：
初始化一个$\theta^{(0)}$，建立一个对数似然函数比较紧的下界，在猜测参数之后，会满足某个不等式的约束，我们会使这个下界参数最大化，于是得到了该下界的最大化参数$\theta^{(1)}$，然后对$\theta^{(1)}$创建一个新的下界，再使这个下界最大化得到$\theta^{(2)}$，重复这些步骤直到收敛到函数的一个局部最优值。而对数函数是凹函数，它拥有凸函数局部最优即全局最优的性质，所以该局部最优值就是对数似然性$l(\theta)$的最大值。

2.2、EM算法的推导

2.2.1、Jensen不等式（Jensen’s inequality）

在正是开始EM算法的推导之前，在这里先介绍一个肯定会用到的定理，即Jensen不等式：
若$f$为凸函数，$X$为一随机变量，有

$$Jensen不等式：\qquad E[f(X)]\geq f(EX)\tag{1}$$
$f(EX)$是$f(E[X])$的简写。

图三
Jensen不等式可以这样推出来：
$$两个点:\theta f(x)+(1-\theta)f(y)\geq f(\theta x+(1-\theta)y),\qquad\theta \in [0,1]\tag{2}$$

k个点:∑i=1kθif(xi)≥f(∑i=1kθixi),∑