Edge-Informed Single Image Super-Resolution

这篇文章提出了一种将图像结构信息和纹理信息分开处理的单图像超分辨率方法，通过这种方法将单图像超分辨率转换为图像修复。
该文章首先分析了传统的双三次插值的弊端：
原标准的HR图像是有边缘信息的高清图像，2倍下采样时四个像素合成一个像素点使下采样后的图片丢失了高频边缘的结构信息和方向信息，后双三次插值得到的2倍恢复的原图彻底丢失了高频边缘的结构信息和方向信息。

该文章提出了一种，即通过插值法将图像放大2倍原来为利用相邻两像素点生成一个像素值，而深度学习最大的好处是可学习，因此借用插值法的原理我们将原lr图的每一行和每一列都添加一个空行和空列（适用于2倍，4倍添加三个空行和空列）用于网络自适应学习图像纹理

网络模块该文章将结构信息（高频边缘信息）和纹理信息分开处理，处理网络G1,G2都是两次下采样后经过8个残差块后经过两次上采样，首先是结构信息处理块，通过canny算子对lr图像处理得到边缘图，后将lr进行灰度处理得到灰度图，将灰度图与边缘图进行双三次插值上采样到超分后的大小通过G1学习得到高分辨率边缘图，此处选用灰度图一起作为输入个人理解为灰度图相对于彩色图能更好的注意到高频细节信息忽略纹理和颜色信息，能够更好的辅助边缘信息图学习得到高分辨率高频信息图，此处还利用了鉴别器来进一步约束其高频信息图的生成效果，此处将得到的梯度预测图和灰度图拼接作为鉴别损失的输入，

另外通过鉴别器中间层提取到的真实图片的边缘信息特征与生成的边缘信息特征进行损失约束代替了vgg感知损失，因为一开始vgg是用来达成分类目的因此提取特征会偏向分类特征无法提取我们想要的边缘特征因此用鉴别器中间层代替vgg

纹理补偿模块在以生成的边缘信息图为先验，进行纹理填充，首先通过以反卷积k2，k4为卷积核对lr进行反卷积，反卷积其实就是步长<1的卷积，通过对相邻像素点进行补0从而实现步长<1的卷积，k2，k4可以很好的使原像素保留下来（只有左上顶点为1，其余全为0），并在原像素周围添加空行和空列，这样就实现了在lr图像原像素的基础上补行列的空位，从而使网络能够直接对空位上的纹理细节进行补充，忽略原有的纹理细节，从而将图像超分转换为图像恢复。

将利用lr生成的带有空位的hr图像和预测出的边缘信息图作为G2的输入，进而重构出超分辨率重构图像。
损失函数利用对抗损失、vgg感知损失、风格损失约束生成图像和标签图像


其中风格损失利用gram矩阵，格拉姆矩阵可以看做feature之间的偏心协方差矩阵（即没有减去均值的协方差矩阵），在feature map中，每个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字代表一个特征的强度，而Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等，同时，Gram的对角线元素，还体现了每个特征在图像中出现的量，因此，Gram有助于把握整个图像的大体风格。有了表示风格的Gram Matrix，要度量两个图像风格的差异，只需比较他们Gram Matrix的差异即可，因此利用gram矩阵可以有效约束两个特征图的风格。