超分辨率基础篇：基于拉普拉斯金字塔的人脸超分

图1 实验结果 # 1. 图像金字塔 --- - 定义：以金字塔排列、分辨率逐渐降低的图像集合。 - 特点：底部是高分辨率图像，顶部是低分辨率的近似。有些资料把最底层作为level 0层，把最顶层作为level k层；有些资料则相反。本文把最低层作为level 0层。 - 用途：机器视觉、图像压缩。 ## 1.1 高斯金字塔 --- 又叫近似金字塔。 作用： 获取全局特征。

$leve{l}_i$层图片生成方式：
$$G_i(Image)=\{\begin{array}{ll}Image& (i=0)\\ reduce(G_{i-1}(Image))& (0<i<N))\end{array}\text{\hspace{1em}(1)}$$
其中$reduce()$包含以下两个操作：

1. 对$leve{l}_{i-1}$层图片，用高斯滤波器卷积，相当于对图像平滑；
2. 以2为基，下采样(即缩小2倍，只保留偶数行、偶数列)。

1.2 拉普拉斯金字塔

---

又叫预测残差金字塔。
作用：获取边缘特征。
$leve{l}_i$层图片生成方式：
$$L_i(I)=\{\begin{array}{ll}{G}_i(I)& (i=0)\\ G_{i-1}(I)-expand(G_i(I))& (0<i<N))\end{array}\text{\hspace{1em}(2)}$$
其中$expand()$包含以下两个操作：

1. 对高斯金字塔的$leve{l}_i$层图片，以2为基上采样（最近邻、双线性、双三次），即放大2倍；
2. 用高斯金字塔的$leve{l}_{i-1}$层图片减去步骤1得到的图片。

1.3 特征金字塔

---

分为水平和垂直特征金字塔，由于用了过滤器组(两个过滤器)，所以每个金字塔又有两组，共有4组金字塔。
作用：获取纹理特征。
$leve{l}_i$层图片生成方式：

• 过滤器1对高斯金字塔的$leve{l}_i$层卷积；
• 过滤器2对高斯金字塔的$leve{l}_i$层卷积；
• 第一个过滤器，水平方向为[-1,8,0,8,-1]/16，垂直方向为水平方向的转置；
• 第二个过滤器，水平方向为[-1,-2,6,-2,-1]/12，垂直方向为水平方向的转置。

2. 算法原理

---

        到目前为止，我们已经了解了三种图像金字塔，那么如何利用它们提升图像的分辨率呢？它们又分别起着什么作用呢？
        一般地讲，提升图像的分辨率，就是把高斯金字塔的$leve{l}_i$层图像还原为$leve{l}_0$层图像。在这个过程中，我们需要考虑其全局特征、边缘特征、和局部特征。而高斯金字塔对应的就是全局特征，拉普拉斯金字塔对应的就是边缘特征，水平、垂直特征金字塔对应的就是纹理特征。整个转化过程需要两步：

1. 把高斯金字塔的$leve{l}_i$层图像放大$i$倍；
2. 把拉普拉斯金字塔的$leve{l}_{i-1}$层(包含该层)前所有图像放到与$leve{l}_0$层一样大，然后叠加到步骤1的结果中。
   以上过程用公式表示为：
   $$G_0(I)=expan{d}^i(G_i(I))+expan{d}^{i-1}(L_{i-1}(I))+...+expand(L_1(I))+L_0(I)\text{\hspace{1em}(3)}$$
   其中，$expan{d}^i(G_i(I))$表示把高斯金字塔的第i层放大了i倍。
           由上述信息可知，如果要把高斯金字塔的$G_i$层变为$G_0$层，那么我们需要的信息有$G_i$层以及拉普拉斯金字塔的$L_0$、$L_1$、…、$L_{i-1}$层。 此时的$G_i$就是低分辨率图像，而我们通过它，只能求得$L_i$、$L_{i+1}$、…、$L_N$，这显然不是我们需要的。那么$L_0$、$L_1$、…、$L_{i-1}$该怎么获取呢？
           这时，就会涉及到一个概念：父结构(featherstructure)，通过它就可以得到我们关心的拉普拉斯金字塔了。
           我们来说下什么是父结构。如果给定低分辨率图像$I$，它的图像金字塔可以看作是它的高分辨率图像的金字塔的第$i$层往上的部分，那么低分辨率图像的每个像素的父结构定义如下:

$$\begin{gathered} S_i(I)(m,n)=[L_i(I)(\lfloor \frac{m}{2^i},\frac{n}{2^i}\rfloor ),L_{i+1}(I)(\lfloor \frac{m}{2^{i+1}},\frac{n}{2^{i+1}}\rfloor ),...,L_N(I)(\lfloor \frac{m}{2^N},\frac{n}{2^N}\rfloor ), \\ {H}_i(I)(\lfloor \frac{m}{2^i},\frac{n}{2^i}\rfloor ),H_{i+1}(I)(\lfloor \frac{m}{2^{i+1}},\frac{n}{2^{i+1}}\rfloor ),...,H_N(I)(\lfloor \frac{m}{2^N},\frac{n}{2^N}\rfloor ), \\ {V}_i(I)(\lfloor \frac{m}{2^i},\frac{n}{2^i}\rfloor ),V_{i+1}(I)(\lfloor \frac{m}{2^{i+1}},\frac{n}{2^{i+1}}\rfloor ),...,V_N(I)(\lfloor \frac{m}{2^N},\frac{n}{2^N}\rfloor ), \\ {H}_i^2(I)(\lfloor \frac{m}{2^i},\frac{n}{2^i}\rfloor ),H_{i+1}^2(I)(\lfloor \frac{m}{2^{i+1}},\frac{n}{2^{i+1}}\rfloor ),...,H_N^2(I)(\lfloor \frac{m}{2^N},\frac{n}{2^N}\rfloor ), \\ {V}_i^2(I)(\lfloor \frac{m}{2^i},\frac{n}{2^i}\rfloor ),V_{i+1}^2(I)(\lfloor \frac{m}{2^{i+1}},\frac{n}{2^{i+1}}\rfloor ),...,V_N^2(I)(\lfloor \frac{m}{2^N},\frac{n}{2^N}\rfloor )] \end{gathered}$$
其中，$S_i(I)(m,n)$是大小为$5\ast (N+1-i)$的向量；$L$表示拉普拉斯金字塔；$H$表示用过滤器1得到的水平特征金字塔；$H^2$表示用过滤器2得到的水平特征金字塔;$V$表示用过滤器1得到的垂直特征金字塔；$V^2$表示用过滤器2得到的垂直特征金字塔。
        接下来就是用父结构将低分辨率图像$t$放大$i$倍成为高分辨率图像$T$的过程了，步骤如下：

1. 计算低分辨率图像的$n$层拉普拉斯金字塔和特征图像，并计算它在第$0$层的父结构，作为它高分辨率图像金字塔的第$k$层的父结构，记为$S_k(t)$；
2. 计算模板图像的$i+n$层拉普拉斯金字塔和特征图像，并计算它在第$k$层的父结构，记为$S_k(T)$；
3. 计算$S_k(t)$和$S_k(T)$的相似性（欧氏距离或者其它）；
4. 遍历训练集，重复步骤2、3，选出最相似的模板图像；
5. 拼接高分辨率图像的拉普拉斯金字塔，$L_0$、$L_1$、…、$L_{i-1}$层由步骤4中的最相似的模板图像提供，$L_{i+1}$、$L_{i+2}$、…、$L_N$由低分辨率图像提供；
6. 根据公式(3)，计算得到高分辨率图像。

参考文献：
[1]Baker S , Kanade T . Hallucinating faces[C]// Automatic Face and Gesture Recognition, 2000. Proceedings. Fourth IEEE International Conference on. IEEE, 2000.
[2]雷刚萨斯. 数字图像处理(第三版)