极大似然估计、EM算法及高斯混合模型

极大似然估计
极大似然估计是一种模型参数估计的方法，它认为已经发生的事情是可能性最大的事情，因此只需让发生事情的概率取最大值来求解模型参数。假设一共有n个样本用$x=[x_1,x_2,\cdots ,x_n]$表示，每个样本中涉及k个参数用$\theta =[{\theta }_1,{\theta }_2,\cdots ,{\theta }_k]$表示，经过模型我们可以得到整体这些样本发生的概率：
$$L(\theta )=\prod _{i=1}^{n}p(x_i|\theta )$$
上式$L(\theta )$表示模型对应的似然函数，等价于在参数为$\theta$时对应样本发生的概率。上式关于$\theta$求导即可。但由于对多项乘积求导往往非常复杂，而对原函数取对数并不会改变原函数的单调性和极值的位置。因此在求解模型参数的时候通常用对数似然函数。$以逻辑回归为例$，假设样本$x_i$对应的类别为$y_i$,其中 y i ∈ { 0 , 1 } y_i\in \{0,1\} yi​∈{0,1}.
$$\begin{gathered} p(y=1|x)=\frac{1}{1+e^{-(wx+b)}}=\pi (x) \\ p(y=0|x)=1-\frac{1}{1+e^{-(wx+b)}}=1-\pi (x) \end{gathered}$$
因此似然函数可以写成：
$$\begin{gathered} L(w,b)=\prod _{i=1}^n[\pi (x_i){]}^{y_i}[1-\pi (x_i){]}^{1-y_i} \\ ln(L)=\sum _{i=1}^n{y}_{i}ln(\pi (x_i))+(1-y_i)ln(1-\pi (x_i)) \end{gathered}$$
其中$ln(L)$就是逻辑回归的优化函数，对其求极大值就得到w和b的估计值。

EM算法(以高斯混合模型GMM为例)
$假设我们现在有一堆身高数据，而且假定身高和人类种族无关，要求估计出一个身高模型?如何估计？$
首先假设身高服从正态分布，因此得出对于所有样本的最大似然函数：
$$\begin{gathered} L(\mu ,{\sigma }^2)=\prod _{i=1}^{n}p(x_i|\mu ,{\sigma }^2)=\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}} \\ ln(L)=\sum _{i=1}^{n}ln(\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}}) \end{gathered}$$
对参数$\mu$和$\sigma$求偏导为：
$$\begin{gathered} \frac{\partial L}{\partial \mu }=\sum _{i=1}^n\frac{(x_i-\mu )}{{\sigma }^2} \\ \frac{\partial L}{\partial \sigma }=\sum _{i=1}^n(-\frac{1}{\sigma }+\frac{(x_i-\mu {)}^2}{{\sigma }^3})=\sum _{i=1}^n\frac{-{\sigma }^2+(x_i-\mu {)}^2}{{\sigma }^3} \end{gathered}$$
让偏导数等于0，得到参数估计为：
$$\begin{gathered} \mu =\frac{{\sum }_{i=1}^n{x}_i}{n} \\ {\sigma }^2=\frac{{\sum }_{i=1}^n(x_i-\mu {)}^2}{n} \end{gathered}$$

但是事实是身高和人类种族关系很大，而且人类有很多种族。$同样给定一堆身高数据，这时我们不知道每个身高属于哪个种族，该如何构建估计身高的模型？$
首先假定一共有k个种族，$\alpha$表示属于某一人种的比例，每个种族的身高服从正态分布，我们先构建似然函数：
$$\begin{gathered} L(\alpha ,\mu ,\sigma )=\prod _{i=1}^n\sum _{j=1}^k{\alpha }_j\cdot p(x_i|{\mu }_j,{\sigma }_j^2) \\ ln(L)=\sum _{i=1}^{n}ln(\sum _{j=1}^k{\alpha }_j\cdot p(x_i|{\mu }_j,{\sigma }_j^2) \end{gathered}$$
由于这个式子没有解析解，只有通过迭代的方法求解。首先假设一个关于$\alpha$的一个分布$Q$，根据Jensen不等式可得：
$$\sum _{i=1}^{n}ln(\sum _{j=1}^{k}Q({\alpha }_j)\frac{{\alpha }_j\cdot p(x_i|{\mu }_j,{\sigma }_j^2)}{Q({\alpha }_j)})\ge \sum _{i=1}^n\sum _{j=1}^{k}Q({\alpha }_j)ln(\frac{{\alpha }_j\cdot p(x_i|{\mu }_j,{\sigma }_j^2)}{Q({\alpha }_j)})$$
而等号成立的条件是：
$$\begin{gathered} \frac{{\alpha }_j\cdot p(x_i|{\mu }_j,{\sigma }_j^2)}{Q({\alpha }_j)}=c \\ \sum _{j=1}^{k}Q(a_j)=1 \end{gathered}$$
其中c为常数。因此
$$Q({\alpha }_j)=\frac{{\alpha }_j\cdot p(x_i|{\mu }_j,{\sigma }_j^2)}{{\sum }_{j=1}^k{\alpha }_j\cdot p(x_i|{\mu }_j,{\sigma }_j^2)}$$
计算$Q({\alpha }_j)$，这就是EM中的E步。带入到式中：
$$l=\sum _{i=1}^n\sum _{j=1}^{k}Q({\alpha }_j)ln(\frac{{\alpha }_j\cdot p(x_i|{\mu }_j,{\sigma }_j^2)}{Q({\alpha }_j)})$$
分别对$\alpha ,\mu ,\sigma$求偏导就得到对这些参数的估计，这就是EM中的M步。重复上述E和M步骤直到参数不再更新为止。

参考链接：
似然与极大似然估计
从两个例子理解EM算法
机器学习笔记（十）EM算法及实践（以混合高斯模型（GMM）为例来次完整的EM）
机器学习_EM算法详细推导和讲解
EM算法原理及利用EM求解GMM参数过程