Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy

最新推荐文章于 2024-03-08 13:15:34 发布

sr_super

最新推荐文章于 2024-03-08 13:15:34 发布

阅读量471

点赞数 1

本文链接：https://blog.csdn.net/sinat_34546154/article/details/112315900

版权

数据增强超分辨率 CutBlur 低级视觉任务正则化

关键词由CSDN通过智能技术生成

[paper]： https://arxiv.org/abs/2004.00448

动机

数据增强DA方法能够提升网络的表现性能，但是目前大多数的数据增强方法只适用于high-level视觉任务，很少有人研究low-level的数据增强方法。

文章对现有的用于SR的数据增强方法进行综合分析，发现过多的丢弃或操作（manipulating）图像像素或特征会破坏恢复的效果，原因是这些操作破坏了图像空间关系信息，而空间信息对SR来说也很重要。

文章提出了一种CutBlur DA方法，主要做法是把LR的patch裁剪下来然后贴到HR图像上，或者把HR的patch贴到LR图像上。这样能够让模型不仅学到如何超分，还能学到在哪里超分，而不是在每个像素位置上都进行盲目的超分。

方法

现有的DA方法

文章用现有的DA方法在EDSR超分模型上进行训练：
在这里插入图片描述
Blend：在图像的每个像素值上加一个常数
RGB permute：三个通道的顺序调换
Cutout：随机选取图像的一个区域，然后丢弃这个区域的内容
Mixup：两张图片进行混叠，如有图像A和B，合成的图像的任一像素点取A或B对应位置像素点的值。
CutMix：随机选取图像的一个区域，然后替换成另外一张图像的内容。
CutMixup：随机选取图像的一个区域，应用Mixup规则。

//文章提出的CutBlur相当于一种CutMix，不同的是它的区域用它的HR或LR版本代替。

Blend和RGB permute只会改变图像的颜色信息，而不会改变结构信息，用在SR上是有作用的，但是其它方法它们都在不同程度上破坏了图像的结构信息，如果直接把它们用在SR上会破坏恢复效果，但是如果小心地应用它们，可能会提升一点表现性能，例如用一个矩形框 cutout 25%图像区域会使原始性能降低0.1db，但是当以0.1％的比例应用并且随机擦除像素而不是矩形区域时，会提高SR表现性能。

作者对不同的DA方法进行大量的实验，筛选出对SR任务有提升效果的DA方法：
在这里插入图片描述
在文章的实验中，把Table 1所有的DA方法混合在一起形成一个DA pool，以p的概率决定是否在input图像上使用DA，如果使用，在DA pool中随机选取一种。

CutBlur

在这里插入图片描述
主要做法：把LR的patch裁剪下来然后贴到HR图像上，或者把HR的patch贴到LR图像上。

LR图像、HR图像公式表示：
在这里插入图片描述
这个过程中要保证LR图像和HR图像大小一致，需要把LR通过双三次上采样s倍，以和HR大小一致，得到 $x_{LR}^s$ ，CutBlur过程公式化：

M表示一个二进制掩模图，由0和1组成，HR->LR表示把HR的patch粘贴到LR图像上，而LR->HR表示把LR图像的patch粘贴到HR图像上。

为什么CutBlur对超分有效？
图像内容信息的急剧变化、图像块的混叠、或者丢失像素之间的相关性会降低SR的性能，一种好的DA方法应该为SR模型提供一种良好的正则。

CutBlur能够满足以上的条件：
1.它仅仅在 HR 和 LR 图像块之间进行裁剪和粘贴，因此能够最小化边界效应。
2.它可以利用整个图像信息，同时由于样本具有随机的HR比率和位置，CutBlur具有正则化效果。

在CutBlur中模型能够学习到什么？
与DA能够防止让分类模型做出过分自信的决策相似，CutBlur能够避免让SR模型对图像过度锐化（而产生伪影），并且只对需要的地方进行超分。
在这里插入图片描述

在上面两幅图中，我们可以看到，当直接使用HR 图像作为输入时，模型会产生过度锐化的结果（伪影），在边缘位置尤其明显，当使用CutBlur时可以解决这个问题。另外，使用 CutBlur后，能够大大降低残差图（|HR-SR|）中的数值，即与GT图像之间的误差更小。说明CutBlur能够约束SR模型来区别地将超分辨率应用到图像上，不仅能够学习如何超分，而且还能够学习到在哪里超分，从而为 SR 模型训练提供了有益的正则化效果。

实验

在超分任务上，在SRCNN、CARN、RACN、EDSR四个模型上（模型规模依次变大）使用和不使用文章提出的DA方法在验证集上进行对比。另外，还在不同数量大小的训练集上进行对比，实验结果如下表：
在这里插入图片描述
可以看到DA在规模大的模型上的效果比在规模小的模型上的效果好，在SRCNN上没有提升，在RCAN、EDSR上有提升效果，并且在RCAN上使用一半的数据集就能达到没有DA使用全部数据集训练的效果。