【论文笔记】Transfer Learning from Synthetic to Real-Noise Denoising with Adaptive Instance Normalization

Abstract

提出泛化性较强的去噪结构和一种迁移学习策略。用自适应实例规范化（Adaptive Instance Normalization）来搭建去噪器，可以约束feature map，防止网络过拟合。

Introduction

先分析了正则化和迁移学习的影响，用下面的回归图像说明。

第一张图表示的时训练和测试图像用的是AWGN，绿色的线是没有正则化的，红色的线是有正则化的，w/o正则化会过拟合训练数据，导致均方差较大。b图展示了真实噪声的分布情况，c图则利用了少量真实噪声样本来进行迁移学习，来将第一张图里的曲线拟合到第二张图的真实噪声中。

Method

提出的网络结构如下：

迁移学习包括两个阶段：先用综合噪声训练出原始denoiser，然后利用迁移学习再训练denoiser。
首先是噪声估计器的改进，指出之前的CBDNet等采用的噪声估计网络估计不准，指出问题在于感受野不够大，于是采用上下采样的多尺度方法来得到估计，噪声估计为大尺度和小尺度两个噪声估计的加权，对小尺度图像进行线性插值得到。