Edge-SR：边缘信息指导的图像超分辨率重构

1、边缘信息引导下的超分工作

Edge-Informed Single Image Super-Resolution（ICCVW 2019）

Kamyar Nazeri, Harrish Thasarathan, and Mehran Ebrahimi
University of Ontario Institute of Technology, Canada 
kamyar.nazeri@uoit.ca harrish.thasarathan@uoit.net mehran.ebrahimi@uoit.ca

• 将图像超分的任务看成了图像像素的修复任务

• 利用边缘信息来辅助进行超分重构

• knazeri/edge-informed-sisr: Edge-Informed Single Image Super-Resolution, ICCVW 2019 https://arxiv.org/abs/1909.05305 (github.com)https://github.com/knazeri/edge-informed-sisr/tree/master

1.1 存在的问题

• 估计出的HR图像显著的特征丢失，从而导致了结果边缘的模糊；

• 深度学习方法普遍存在的问题：对于纹理和结构等高频结果较差；

• 基于GAN的一些方法人眼效果虽然好，但图像的保真度不高；

1.2 改进之处

• 将低分辨率图像的边缘信息和低分辨率图像的灰度图一起送入生成器，预测出SR的图像边缘信息；

• 通过反卷积的形式先将图片放大到和HR一样大，再将其和预测出的SR图像边缘信息一同送入生成器；

• 通过图像边缘信息的监督，生成纹理和结构更为丰富的高分辨率图像；

• 使用了GAN的思想，把图像边缘信息也作为GAN输入的一部分。

1.3 网络细节

• 分为了边缘增强Edge Enhancement和图像修复Image Completion两部分

1.3.1 边缘增强 Edge Enhancement

• 对于边缘增强部分，对低分辨率图像提取Canny edge-map，并将放大后的edge map和灰度图一起放大后送入到生成器；

• 生成器的G1部分是用来做边缘增强的，是一些卷积和残差的块：

  • 采用的损失为GAN的对抗损失，real/fake对应的为真实的图像GT的边缘信息预测得到的SR的边缘信息；

  • FM Loss，是对于鉴别器的中间特征计算损失；

  • 

• 边缘增强的作用是：从低分辨率图像中得到较清晰的图像边缘信息，并以该信息来之后的超分/修复工作进行监督；

• G1的损失如下：

  • 

1.3.2 图像超分/修复

• 对于图像超分部分，是将边缘增强部分得到的放大的边缘信息结构图C_{pred}以及放大到和HR一样大小的输入：

  • 放大使用了反卷积的操作；

  • G2的整体架构和G1是一样的，只是在最后没有使用FM Loss，real/fake分别对应了GT和生成的SR图像

  • 相比于G1使用了如：L1 Loss、Style Loss、Perceptual Loss:

  • 

  • 风格损失通过最小化中间特征图的Gram矩阵之间的曼哈顿距离来鼓励纹理相似性；

1.4 实验设置

测试集：Celeb-HQ、Places2、Set5、Set14、BSD100、Urban100

• 对于G1和G2是单独训练的，先训练G1，然后冻结其参数后训练G2

• edge maps使用的Canny edge detector，sigma的参数为2

• 实验分为了X4和X8的任务

1.5 实验效果

1.5.1 图像边缘信息指导

• 对于X4倍的超分，其纹理的信息是从LR中的图像边缘信息中生成的；

• 更加准确的图像边缘信息将对于图像超分的重建更加有帮助；

1.5.2 实验效果

• 指标结果：在SSIM上有更好的表现，结构纹理细节更加的丰富

• 可视化结果

• baseline为不加入edge-maps的网络，Ours为加入edge-maps后的网络；

• 加入edge-maps之后，图像的纹理结构更为丰富

2、边缘信息应该如何利用，一些思考？

• 上文的方法是使用的GAN来生成的图像的边缘信息，即需要使用对抗损失那种：

  • 但使用GAN的话，存在的缺点是：1、不好训练；2、额外的计算量和参数量；

• 可不可以直接将边缘信息作为一种约束信息，或者一种先验的形式作为一种图像边缘的损失