HINet: Half Instance Normalization Network for Image Restoration
摘要
- 提出了一种新的block:半实例归一化块(HIN block)
- 图像恢复任务sota
一些效果展示
引言
- 批处理归一化不能提高超分辨率网络的性能
- 批归一化消除了网络的范围灵活性
- 图像恢复任务通常使用小的图像patch和小的mini-batch size来训练网络,这导致BN的统计不稳定。
- 实例标准化在某种程度上是底层特性的标准化。他们通过调整样式图像到内容图像的实例标准化中的通道统计数据,对样式传输任务提出了自适应实例标准化
- 自适应实例归一化
结构方面以往工作:
- 在神经网络中引入了成熟的高斯-拉普拉斯图像金字塔分解技术,并使用一个相对较浅的网络来处理每个金字塔层的学习问题
- 通过反复展开一个浅ResNet提出了一个渐进的循环网络,并引入了一个循环层来利用跨阶段的深层特征的依赖关系
- 提出了深度堆叠分层多patch网络。每个层次关注不同尺度的模糊,较细的层次将其残差图像贡献给较粗的层次
- 一种多级渐进图像恢复架构,其中有两个编码器-解码器子网络和一个原始分辨率子网络
- 监督注意模块(SAM)和每两阶段之间的跨阶段特征融合模块(CSFF)
方法
总体结果如下所示:
本文提出的半实例标准化:
本文的半实例标准化是通过通道上面进行划分的
损失函数:
SAM的结构
CSFF模块:
后面有时间再来补充这篇论文笔记