即插即用型ADMM应用于图像超分

Plug-and-Play优化公式

$\hat{x}=\underset{x}{\mathrm{argmin}}f(x)+\lambda g(x)$ （1）

首先这是一个最大后验的问题,我们可以用ADMM方法转化为下面的算式：

$\{\begin{array}{l}{x}^{(k+1)}=\underset{x}{\mathrm{argmin}}f(x)+\frac{\rho }{2}||x-v^{(k)}+u^{(k)}|{|}^2\\ v^{(k+1)}=D_{{\sigma }_k}(x^{(k+1)}+u^{(k)})\\ u^{(k+1)}=u^{(k)}+(x^{(k+1)}-v^{(k+1)})\end{array}$ （2）

在超分问题的应用

在超分辨率问题中，函数$f(x)$拥有二次项的形式：

$f(x)=||SHx-y|{|}^2$（3）

这里$H\in R^{n\times n}$是一个循环矩阵，用于对抗混叠滤波器进行卷积。

循环矩阵有一个重要的性质：可以被离散傅里叶变换矩阵对角化

公式为：$X=c(x)=F\cdot diag(\mathcal{F}(x))\cdot F^H$，其中$\mathcal{F}(\cdot )$表示离散傅里叶变换，$F$表示DFT矩阵。$F{F}^H=F^{H}F=I$，这是一个酉矩阵。之所以把它叫做DFT矩阵是因为一个信号的DFT变换可以由和这个矩阵相乘得到。$x$表示构成循环矩阵的向量$x=\left[\begin{array}{ccc}{x}_0& x_1& x_2\end{array}\right]$

下面为循环矩阵的例子：

$X=c(x)=\left[\begin{array}{ccc}{x}_0& x_1& x_2\\ x_2& x_0& x_1\\ x_1& x_2& x_0\end{array}\right]$

而均值滤波的高斯模糊滤波器的形式是：$X=\frac{1}{9}\left[\begin{array}{ccc}1& 1& 1\\ 1& 1& 1\\ 1& 1& 1\end{array}\right]$显然这是一个循环矩阵（还有一种在降采样中常用的高斯模糊核，因为它不是循环矩阵所以不能用我们这种方法）。

继续超分问题的分析

H是一个循环矩阵，S是一个降采样矩阵，我们定义$G:=SH$。带入（2）式，我们得到下面的优化方程：
$\hat{x}=\underset{x\in R^n}{\mathrm{argmin}}||Gx-y|{|}^2+\frac{\rho }{2}||x-\tilde{x}|{|}^2$.(4)
这个方程有闭式解：
$\hat{x}=(G^{T}G+\rho I{)}^{-1}(G^{T}y+\rho \tilde{x})$.(5)
但是这个闭式解含有伪逆运算，所以运算速度比较慢。

1. 当$G=SH$时，由于$H^T{S}^{T}SH$既不是对角矩阵也不可以通过傅里叶变换对角化，所以它的解是非平凡的解。我们可以使用多变量分割的方法或者直接通过共轭梯度法对方程求解，但是多变量分割的方法需要拉格朗日乘子和内部变量，所以运算速度也很慢。
2. 当$S$是标准的K倍降采样算符，H是循环卷积时我们有机会得到闭式解。下面展示如何使用傅里叶变换的方式加快运算。

通过傅里叶变换求闭式解

首先我们需要使用Woodbury Matrix Identity and Sherman-Morrison Formula（伍德伯里恒等式）来改写（5）式为：
$\hat{x}={\rho }^{-1}b-{\rho }^{-1}{G}^T(\rho I+G{G}^T{)}^{-1}Gb$，（6）
这里$b:=G^{T}y+\rho \tilde{x}$.
更加关键的步骤在于下面的发现：
$G{G}^T=SH{H}^T{S}^T$.
因为$S$是一个K倍降采样算符，那么$S^T$就是一个K倍升采样算符。定义$\tilde{H}=H{H}^T$,这可以解释为在模糊核h和它的时间反演之间的卷积。那么$S^T\tilde{H}S$就是一种升采样-滤波器-降采样结构，如下图：

接下来使用数字信号处理中的多项分解及Z变换的技术，实现傅里叶变换形式的闭式解如下：
x = ρ − 1 b − ρ − 1 G T ( F − 1 { F ( G b ) ∣ F ( h 0 ~ ) ∣ 2 + ρ } ) x=\rho^{-1}b-\rho^{-1}G^T(\mathscr{F}^{-1} \lbrace \frac{\mathscr{F}(Gb)}{|\mathscr{F}(\tilde{h_0})|^2+\rho}\rbrace) x=ρ−1b−ρ−1GT(F−1{∣F(h0​~​)∣2+ρF(Gb)​}).(7)
其中$b=G^{T}y+\rho \tilde{x}$

参考文献

[1]:Plug-and-Play ADMM for Image Restoration:Fixed Point Convergence and Applications