机器学习之EM算法

EM具体的含义是什么？

• EM算法(Expectation Maximization Algorithm, 最大期望算法)是一种迭代类型的算法，是一种在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量。
• EM算法流程：
  • 初始化分布参数/模型参数
  • 重复下列两个操作直到收敛：
    • E步骤：估计隐藏变量的概率分布期望函数；
    • M步骤：根据期望函数重新估计分布参数。

Jensen不等式

• 如果函数f为凸函数，那么存在下列公式：
  $$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$

• 若${\theta }_1,...,{\theta }_k\ge 0，{\theta }_1+....+{\theta }_k=1;$则
  $$f({\theta }_1{x}_1+...+{\theta }_k{x}_k)\le {\theta }_{1}f(x_1)+...+{\theta }_{k}f(x_k)$$$$f(E(x))\le E(f(x))$$

算法原理

• 给定的m个训练样本$x^{(1)},x^{(2)},...,x^{(m)}$，样本间独立，找出样本的模型参数θ，极大化模型分布的对数似然函数如下：
  $$\theta =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m\log (P(x^{(i)};\theta ))$$

• 假定样本数据中存在隐含数据$z^{(1)},z^{(2)},...,z^{(k)}$，此时极大化模型分布的对数似然函数如下：
  $$\begin{array}{rl}\theta & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m\log (P(x^{(i)};\theta ))\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m\log \left(\sum _{z^{(i)}}P(z^{(i)})P(x^{(i)}|z^{(i)};\theta )\right)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m\log \left(\sum _{z^{(i)}}P(x^{(i)},z^{(i)};\theta )\right)\end{array}$$

• 令z的分布为Q(z;θ) ，并且Q(z;θ)≥0；
  $$\sum _z=Q(z;\theta )=1$$
  那么有如下公式：
  $$\begin{array}{rl}l(\theta )& =\sum _{i=1}^m\log \sum _{z}p(x,z;\theta )\\ & =\sum _{i=1}^m\log \sum _{z}Q(z;{\theta }^{old})\cdot \frac{p(x,z;\theta )}{Q(z;{\theta }^{old})}\\ & =\sum _{i=1}^m\log \left(E_Q\left(\frac{p(x,z;\theta )}{Q(z;{\theta }^{old})}\right)\right)\ge \sum _{i=1}^m{E}_Q\left(\log \left(\frac{p(x,z;\theta )}{Q(z;{\theta }^{old})}\right)\right)\\ & =\sum _{i=1}^m\sum _{z}Q(z;{\theta }^{old})\log \left(\frac{p(x,z;\theta )}{Q(z;{\theta }^{old})}\right)\end{array}$$

• 根据Jensen不等式的特性，当下列式子的值为常数的时候，l(θ)函数才能取等号。

$$l(\theta )\ge \sum _{i=1}^m\sum _{z}Q(z;{\theta }^{old})\log \left(\frac{p(x,z;\theta )}{Q(z;{\theta }^{old})}\right)$$
$$\frac{p(x,z;{\theta }^{old})}{Q(z;{\theta }^{old})}=c,\forall x,\forall z$$
$$\begin{array}{rl}Q(z;{\theta }^{old})& =\frac{p(x,z;{\theta }^{old})}{c}=\frac{p(x,z;{\theta }^{old})}{c\cdot {\sum }_{z^i}Q(z^i;{\theta }^{old})}\\ & =\frac{p(x,z;{\theta }^{old})}{{\sum }_{z^i}c\cdot Q(z^i;{\theta }^{old})}=\frac{p(x,z;{\theta }^{old})}{{\sum }_{z^i}p(x,z^i;{\theta }^{old})}\\ & =\frac{p(x,z;{\theta }^{old})}{p(x;{\theta }^{old})}=p(z|x;{\theta }^{old})\end{array}$$

$$\begin{array}{rl}\theta & =\underset{\theta }{\mathrm{argmax}}l(\theta )=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m\sum _{z}Q(z;{\theta }^{old})\log \left(\frac{p(x,z;\theta )}{Q(z;{\theta }^{old})}\right)\\ & =\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m\sum _{z}p(z|x;{\theta }^{old})\log \left(\frac{p(x,z;\theta )}{p(z|x;{\theta }^{old})}\right)\\ & ≌\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^m\sum _{z}p(z|x;{\theta }^{old})\log (p(x,z;\theta ))\end{array}$$

EM算法流程

• 条件：样本数据$x=x^1,x^2,...,x^m$，联合分布$p(x,z;\theta )$，条件分布$p(x,z;\theta )$，最大迭代次数J
  • 随机初始化模型参数$\theta$的初始值${\theta }^0$
  • 开始EM算法的迭代处理：
    • E步：计算联合分布的条件概率期望
      $$Q^j=p(z|x;{\theta }^j)$$$$l(\theta )=\sum _{i=1}^m\sum _z{Q}^j\log (p(z,x;\theta ))$$
    • M步：极大化L函数，得到${\theta }^{j+1}$
      $${\theta }^{j+1}=\underset{\theta }{\mathrm{argmax}}l(\theta )$$
    • 如果θj+1已经收敛，则算法结束，输出最终的模型参数θ，否则继续

EM算法收敛证明

GMM

• GMM(Gaussian Mixture Model, 高斯混合模型)是指该算法由多个高斯模型线性叠加混合而成。每个高斯模型称之为component。GMM算法描述的是数据的本身存在的一种分布。
• GMM算法常用于聚类应用中，component的个数就可以认为是类别的数量。
• 假定GMM由k个Gaussian分布线性叠加而成，那么概率密度函数如下：
  

$$p(x)=\sum _{k=1}^{K}p(k)p(x|k)=\sum _{k=1}^K{\pi }_{k}p(x;{\mu }_k,\sum _k)$$
对数似然函数
$$l(\pi ,\mu ,\sum )=\sum _{i=1}^N\log \left(\sum _{i=1}^K{\pi }_{k}p(x^i;{\mu }_k,\sum _k)\right)$$