Wide Activation for Efficient and Accurate Image Super-Resolution
Jiahui Yu,Yuchen Fan,Jianchao Yang,Ning Xu,Zhaowen Wang,Xinchao Wang,Thomas Huang
本文是NTRIE2018年超分辨率比赛的冠军。
主要贡献
- 论文提出在激活函数前with expand feature可以使更多信息通过,提升网络性能,基于此提出WDSR-A。
- 论文使用linear low-rank convolution作为基本的模块,提出WDSR-B。
- 论文发现weight normalization对SR问题有改进。
WDSR-A
论文发现如果直接增加激活函数前的通道数,在不引入更多参数的情况下,对网络性能的提升没有任何作用。于是论文为了保证复杂度不上升,同时还加宽激活函数前的通道数,提出了一种先使通道数变窄再加宽的方法,提出了WDSR-A。
WDSR-A的残差块结构如中间的图,和左边的图RB比较,可以看出它把第一个卷积层变窄,而把激活函数前面的卷积层变宽了。假设第一个卷积层的宽度为,激活函数前的卷积层宽度为