EM 算法难点问题梳理

EM 算法难点问题梳理

公式推导

以下在高斯的分布下假设：$\stackrel{-}{X}=(X_1,X_2,...,X_n)$，为观测值序列（实现序列）同时假设$\stackrel{-}{X}=(X_1,X_2,...,X_n),X_i\stackrel{iid}{\sim }P(X|\theta )$，此外$log-likehood$似然函数表达式如下：
$$\begin{array}{rl}& L(\theta |\stackrel{-}{X})=log[P(\stackrel{-}{X}|\theta )]\\ & =log[\coprod _{i=1}^{n}P(X_i|\theta )]\\ & =\sum _{i=1}^{n}log(P(X_i|\theta ))\end{array}$$
补充：根据贝叶斯公式可知
$$\begin{gathered} \stackrel{posterior}{P(\theta |X)}\propto \stackrel{likehood}{P(X|\theta )}\ast \stackrel{prior}{P(\theta )} \\ P(\theta |X)=\frac{P(X|\theta )\ast P(\theta )}{{\sum }_{\theta }P(X|\theta )\ast P(\theta )} \end{gathered}$$

理解两个概率分布

• $P(Z)$：理解数据受到整体的不同高斯权重的影响，这个权重主要是和某个高斯相关，这个权重是在未知数据下的先验信息。
  即表示的是在没有数据$X$的前提下，先验的高斯权重分布，可以这样理解:假设一组数据是来自三个不同的混合高斯，在我们完全没有先验信息的情况不知道哪个高斯对数据产生影响大的情况下，我们通常会假设来自不同的高斯有着不一样的概率，即$\frac{1}{k}$（但是实际上是不同的,这个需要我们利用EM去学习）。这个概率有什么作用？下面结合$P(Z|,X,{\theta }^{(g)})$公式进行讲解。
• $P(Z|,X,{\theta }^{(g)})$：数据受到整体的不同高斯权重的影响下，在某一个高斯权重的下的分布，这个权重是在已知数据下的条件概率。
  即表示的是当给定一个数据$X$的时候，可以根据这个数据和给定的参数${\theta }^{(g)}$计算出这个数据来自哪个高斯的概率，这样数据如果变多了，就会形成一个针对对不同数据作为自变量的一个来自不同高斯的分布，所以这就是对于数据来自某个高斯的概率分布。

举例子：

假设现在有两个高斯
$$G_1(X)=\frac{1}{\sqrt{2\pi }\Sigma 1}\exp (-\frac{(X-{\mu }_1{)}^2}{2{\Sigma }_1})$$
$$G_2(X)=\frac{1}{\sqrt{2\pi }\Sigma 2}\exp (-\frac{(X-{\mu }_2{)}^2}{2{\Sigma }_2})$$
受到两个高斯的影响，产生了一组数据$X=(x_1,x_2,...x_n)$。此时在不知道数据的情况下我们会假设每个高斯的对数据产生概率的影响各位0.5，所以此时的$P(z_1)=0.5,P(z_2)=0.5$。但是在知道数据的情况下，此时基于数据和先验消息${\theta }^{(g)}$的情况下,我们可以知道对于每一个数据$x_i$,我们根据先验的信息带入到不同的高斯都可以计算出一个概率$G_1(x_i)$和$G_2(x_i)$，但是此时的概率是在单个高斯下的概率，那么如果要计算在不同高斯下的概率，需要用到如下的公式：$P(z_i|x_i,{\theta }^{(g)})=\frac{p(z_i)G_1(x_i)}{p(z_1)G_1(x_1)+p(z_2)G_2(x_i)}$,这其实就是利用的贝叶斯公式：$$P(Z|X,{\theta }^{(g)})=\frac{p(Z|{\theta }^{(g)})P(X|Z,{\theta }^{(g)})}{{\sum }_{Z}P(X|Z,{\theta }^{(g)})P(Z|{\theta }^{(g)})}$$

拆解一下：可以把Z理解为来自哪个高斯事件

$p(Z|{\theta }^{(g)})=p(Z|{\theta }^{(g)})$ 表示的是在没有数据X时候的先验信息，即理解数据受到整体的不同高斯权重的影响;
$P(X|Z,{\theta }^{(g)})=G_1(x_i)$表示假设已经知道数据来自哪个高斯的假设下的概率，即假设数据$x_1$来自高斯$G_1$情况下的概率
所以一个是先验，一个可以理解为似然，这样就可以求得在数据采集情况下的后验信息，即高斯的参数是多少；可以进行求导计算出来。当然对于很多维的高斯，求导的方法将会大大增加计算量，所以有了EM的方法。