CutBlur与RCAN-it

两者都不是对神经网络结构的研究。CutBlur注重于图像数据增强的过程，而RCAN-it则是对网络的训练策略进行研究。两篇文章的方法，也都是受到High level task里面的一些方法的启发。这些涨点技巧，可以用于面向商业的模型，和一些比赛等。

1 RCAN-it

https://arxiv.org/abs/2201.11279 GitHub - zudi-lin/rcan-it: Revisiting RCAN: Improved Training for Image Super-Resolution

研究RCAN在采用新的训练策略后，能否焕发第二春，与最新的SOTA模型一战。

PS:RCAN x2论文数据

 1、加大batch size与学习率

线性增加学习率效果不佳，就翻了一倍，作为baseline：BS=256, η=0.0032

 2、SiLU的使用、更长时间的训练、更大的Patch都可以涨点，后两者说明原网络欠拟合。

FP16半精度训练，省资源但性能下降

Stochastic depth 随机跳残差块，显著下降，由于梯度问题。

color augmentations 色彩增强，导致下降，但是由于manga109是动漫图像，因此有所提升。

3、叠加这几种带来增益的方法

4、Warm start

利用x2的上采样前部分，并固定，单训练上采样部分（tail）

PS:RCAN x3 原论文

RCAN x4 原论文

 5、结果对比

有明显的提升，也几乎追平了Swin Transformer。详见论文

2 CutBlur

CVPR2020-CutBlur-专用于图像复原的数据增广策略 | Rethinking Data Augmentation for Image Super-resolution_chenzy_hust的博客-CSDN博客_cvpr 锐化之前自己在SISR中做过mixup等增广，发现效果甚微。作者的工作量挺大的，提出了专用于图像复原领域的数据增广策略，简单有效！Github：https://github.com/clovaai/cutblurAbstract：数据扩充是提高深度网络性能的有效方法。不幸的是，当前的方法主要是针对高级视觉任务（例如分类）而开发的，很少研究用于低级视觉任务（例如图像复原）的方法。在本文中，我...https://blog.csdn.net/weixin_42096202/article/details/105626842这篇博客十分详细地阐述了此文。