去噪论文“CycleISP: Real Image Restoration via Improved Data Synthesis”

去噪是不是一个很容易获得数据集的方向呢？是，也许不是。
传统的去噪的方法在原图上添加高斯白噪声(Additive White Gaussian Noise, AWGN)，而不是真实世界中存在的噪声。在深度学习中，如果在这一类的数据集上训练的效果越好，它在真实世界的去噪的数据集上的效果就越离谱，比如论文A high-quality denoising dataset for smartphone cameras.,
Benchmarking denoising algorithms with real photographs.的数据集。本论文可以模拟ISP和ISP的逆操作，从而进行RGB转换到RAW空间，以及RAW空间转换到RGB空间。同样，本文可以在RGB域和RAW域生成真实的噪声数据。

整体的Pipeline如下图

为生成真实感的噪声数据集，使用二阶段的网络来生成RAW格式的噪声数据集和RGB格式的噪声数据集； CycleISP包括(1)RGB2RAW分支 (2)RAW2RGB分支 （3）辅助的颜色恢复网络, 提供准确的颜色注意力机制用于RAW2RGB的分支来正确地恢复RGB图像。（4）噪声插入模块：在训练CyCleISP中将模块设置为“OFF”，只在生成噪声数据时才变成“ON”。
CyCleISP的训练过程分为两步：首先，单独训练RGB2RAW分支和RAW2RGB分支，再一起fine-tuning。
RGB$\to$RAW分支
不需要任何相机的参数，RGB$\to$RAW分支用于模拟相机的逆ISP过程。输入RGB图像$I_{rgb}\in {\mathbb{R}}^{H\times W\times 3}$,首先通过卷积层$M_0$提取low-level特征$T_0\in {\mathbb{R}}^{H\times W\times C}$,$T_0=M_0(I_{rgb})$。之后通过若干个RRG(Recursive Residual Module)模块提取深层特征$T_d\in {\mathbb{R}}^{H\times W\times C}$：$$T_d=RR{G}_N(...(RR{G}_1(T_0)))$$
将$T_d$经过卷积层$M_1$获得去马赛克后的结果${\hat{I}}_{dem}\in {\mathbb{R}}^{H\times W\times 3}$,将$M_1$的输出通道设为3而不是1是为了更好地保存初始图像的结构信息，并通过Bayer插值算法$f_{bayer}$从而使得 I ^ r a w = f b a y e r ( M 1 ( T d ) ) \hat{I}_{raw}=f_{bayer}(M_1(T_d))