高斯混合模型（GMM）先验的推断

GMM先验的优化方程

假设图像降质模型为：$Y=AX+N$，我们希望恢复$X$通过解决一个最大后验问题。

$\begin{array}{rl}\underset{X}{\max }P(X|Y)& =\underset{X}{\max }P(Y|X)P(X)\\ & =\underset{X}{\min }-\log P(Y|X)-\log P(X)\end{array}$. (1)

但是对于全局的先验很难获得，因此我们使用针对每个局部patch的先验信息

$\log P(X)={\sum }_i\log P({\mathbf{R}}_{i}X)$.(2)

其中$R_i$表示块提取算符。将降至模型和（2）带入（1）式并采用半二次分裂法，用辅助变量$z_i$代替$R_{i}X$得：

${\min }_X\frac{\lambda }{2}||AX-Y|{|}_2^2+{\sum }_i(\frac{\beta }{2}||R_{i}X-z_i|{|}_2^2-\log P(z_i))$.(3)

这里$\lambda =\frac{p}{{\sigma }^2}$，p是patch的尺寸大小。

1. 首先固定X通过解决一个最大后验问题求解$z_i$
   ${\min }_{z_i}\frac{\beta }{2}||R_{i}X-z_i|{|}_2^2-\log P(z_i)$.(4)

2. $P(z)={\sum }_{k=1}^K{\omega }_k\frac{1}{(2\pi {)}^{p/2}|{\Sigma }_k{|}^{-1}}\exp (-\frac{1}{2}{z}_i^t{\Sigma }_k^{-1}{z}_i)$.(5)

   那么$\log P(z_i)=-\frac{1}{2}{\omega }_k{z}_i^t{\Sigma }_k^{-1}{z}_i$（6），由于${\omega }_k\frac{1}{(2\pi {)}^{p/2}|{\Sigma }_k{|}^{-1}}$这一项不含z，所以对求导没有影响，因此我们可以将这一项省略掉 。

3. 最终的优化方程为：
   $\underset{z}{\mathrm{argmin}}\frac{\beta }{2}||R_{i}X-z_i|{|}_2^2+\frac{1}{2}{z}_i^t{\Sigma }_k^{-1}{z}_i$.(7)
   提示：对$\frac{1}{2}{z}_i^t{\Sigma }_k^{-1}{z}_i$ 求导的结果是 $({\Sigma }_k^{-1}+({\Sigma }_k^{-1}{)}^t)z_i$
   （矩阵求导）
   直接对z求导可得最终结果为：

   $z_i=({\sum }_k+\frac{1}{\beta }I{)}^{-1}{\sum }_k{R}_{i}X$.（8）

4. 但是现在有一个重要的问题是我们训练的高斯混合模型中有200个子高斯模型，如何才能确定（8）式中用的${\sum }_k$是哪一个子模型的协方差矩阵呢？
   方案：直接将每一个提取出的patch分别代入200个高斯模型，比较得到的概率值大小，选择概率值最大的那个模型即可，每一个patch只能选择一个高斯模型，一幅图像中可以提取出很多个patch，所以相当于高斯混合模型的应用。

5. 求解得到z之后，再固定z根据矩阵求导就可以很容易求得X，即可得到恢复后的图像。

参考文献

[1] Zoran D , Weiss Y . From learning models of natural image patches to whole image restoration[J]. 2011:479-486.

[2] Papyan V , Elad M . Multi-Scale Patch-Based Image Restoration[J]. IEEE Transactions on Image Processing, 2015:249-261.