em算法的Q函数的理解

这个是概率密度。

$p\left(x_i\mid z_i,\Theta \right)$是来自第$Z_i$个模型下，$x_i$的分布。所以第$Z_i$个模型的参数是：$\mathcal{N}\left({\mu }_{z_i},{\Sigma }_{z_i}\right)$
$p\left(z_i\mid \Theta \right)$是给定参数下选第$Z_i$个模型的概率。很明显这个就是${\alpha }_i$的概率。用${\alpha }_{z_i}$表示。
得到：
$p(X,Z\mid \Theta )={\prod }_{i=1}^{n}p\left(x_i,z_i\mid \Theta \right)={\prod }_{i=1}^n\underset{\mathcal{N}\left({\mu }_{z_i},{\Sigma }_{z_i}\right)}{\underbrace{p\left(x_i\mid z_i,\Theta \right)}}\underset{{\alpha }_{z_i}}{\underbrace{p\left(z_i\mid \Theta \right)}}={\prod }_{i=1}^n{\alpha }_{z_i}\mathcal{N}\left({\mu }_{z_i},{\Sigma }_{z_i}\right)$
借下来写：$p(Z\mid X,\Theta )$
$p(Z\mid X,\Theta )={\prod }_{i=1}^{n}p\left(z_i\mid x_i,\Theta \right)={\prod }_{i=1}^n\frac{{\alpha }_{z_i}\mathcal{N}\left({\mu }_{z_i},{\Sigma }_{z_i}\right)}{{\sum }_{l=1}^k{\alpha }_I\mathcal{N}\left({\mu }_l,{\Sigma }_l\right)}$
这里求的是在给定数据和参数下，来自$Z$模型的概率，分母是第$i$个数据集来自全部模型的概率。分子是来自$Z$模型的概率。然后用连乘表示每个数据来自$Z$模型的概率。

写出Q函数。这里是多元密度函数求积分。
$p\left(z_i\mid x_i,{\Theta }^{(g)}\right)$可写成$p\left(z_1,....,z_N\right)$
${\prod }_{i=1}^n\ln p\left(z_i,x_i\mid \Theta \right)$可以用$f(z_i)$表示。所以可以写程${\int }_{z_1}\cdots {\int }_{z_n}\left((f(z_1)+f(z_2)+...,f(z_N)){\prod }_{i=1}^{n}p\left(z_i\mid x_i,{\Theta }^{(g)}\right)\right)d{z}_1,\dots d{z}_n$
所以可以写成${\int }_{z_1}\cdots {\int }_{z_n}\left((f(z_1)+f(z_2)+...,f(z_N))p\left(z_1,....,z_N\right)\right)d{z}_1,\dots d{z}_n$.。
根据积分性质。积分$d_{z_2}$只$z_2$有关。所以



图片来自：https://github.com/roboticcam/machine-learning-notes/blob/master/files/em.pdf