Real Image Restoration via Improved Data Synthesis阅读笔记

图片的两种格式的区别

RGB

RAW

概述

通常的图像去噪算法都是基于添加AWGN合成的数据集进行研究和评估；CNN网路通常在这些合成的数据集上取得了较好的效果，而在实际场景却表现一般，主要由于AWGN不足以对真正的相机噪声进行建模，

真正的相机噪声是依赖于信号，并经过相机成像通道进行严格的转换（因此，图像噪声跟相机的参数十分相关）；

论文提出了一个网络可以对相机成像通道进行前向和反向建模

简介

高级视觉任务（图像分类、物体检测、语义分割）由于CNN网络已经取得了巨大的进步，主要得益于巨大的数据集，而对于低级视觉任务（图像去躁、超分辨重构、去模糊）获取数据集相当困难，对于单图像去噪目前主要是通过在原图上添加AWGN噪声来构造数据集，由于无法模拟真实场景的噪声，导致在构造数据集上表现较好的模型，在实际中表现一般；

在RGB空间构建噪声相对于RAW空间更难

论文提出一种数据集合成方法，可以在RGB和RAW两个空间中生成真实的图像噪声，

论文提出一种模型CycleISP可以将RGB图像转变为RAW图像，并可以逆向将RAW图像转变为RGB图像

CycleISP实现方法

网络训练过程：分别训练RGB2RAW和RAW2RGB两个网络，然后进行联合训练

RGB2RAW分支

数码相机采用一系列操作将RAW图像转变为RGB图像，RGB2RAW网络的目的是对相机通道逆向建模，

实现步骤：

1.使用M0——卷积操作进行特征提取：

2.通过n个RRG网络提取深度特征：

RRG——Recursive Residual Group

RRG网络包含P个DAB网络； DAB网路抑制不重要的信息，让重要的信息通过； 采用通道注意力机制（CA）和空间注意力机制（SA）实现

 

CA:学习通道间的依赖关系；squeeze operation(global average pooling，变换后形状1*1*C)+excitation operation(2个卷积层，并使用sigmoid作为激活函数)+对输入特征图U使用s进行变换

SA:学习特征图的空间依赖关系；采用（global average pooling和max average pooling）生成一个空间描述特征图H*W*2+卷积、sigmoid生成空间注意力特征图

3.使用M1——卷积操作生成大小为H*W*3的图像：

• 生成3通道的图像的优点：保留尽可能多的原始图像的信息；
• 有助于更快、更精确的学习特征图

4.使用Bayer sampling function生成RAW格式图像：

5.网络优化

采用L1正则化和log函数计算损失（log函数相当于对图像的像素进行归一化化，避免高亮度区域像素给网络带来的影响）

RAW2RGB

首先，我们先了解如何根据清晰的RAW图像生成清晰的RGB图像

实现步骤：

分为三步：生成RAW到RGB对应的特征图（对应步骤1-4），进行特征空间校正，生成最终的RGB图

1.以RAW相机原图作为输入，H*W*1

2.将RAW图像的2*2区域映射到4通道RGGB中,尺寸变为H/2*W/2*4

3.通过M2——卷积操作

4.K-1个RRG模块生成特征图

5.color attention unit

对于所有的类型的相机，使用一个CNN网络精确的实现RAW到RGB的映射十分困难，论文提出使用color attention unit，通过颜色校正分支提供精确

高斯模糊（确保仅有颜色信息进入该通道）+M3卷积层+2个RRG+M4门控机制+sigmoid激活函数

6.  1个RRG网络+M5卷积操作+Mup上采样

7.通过L1正则化进行模型训练

两个网络的联合训练

噪音的生成

生成RAW噪声图：通过RGB2RAW生成干净的RAW格式的图片，然后通过噪音模块添加噪音

生成RGB噪声图：将合成的RAW噪音作为输入通过RAW2RGB网络生成RGB带噪声的图像

图像去燥