图片的两种格式的区别
RGB
RAW
概述
通常的图像去噪算法都是基于添加AWGN合成的数据集进行研究和评估;CNN网路通常在这些合成的数据集上取得了较好的效果,而在实际场景却表现一般,主要由于AWGN不足以对真正的相机噪声进行建模,
真正的相机噪声是依赖于信号,并经过相机成像通道进行严格的转换(因此,图像噪声跟相机的参数十分相关);
论文提出了一个网络可以对相机成像通道进行前向和反向建模
简介
高级视觉任务(图像分类、物体检测、语义分割)由于CNN网络已经取得了巨大的进步,主要得益于巨大的数据集,而对于低级视觉任务(图像去躁、超分辨重构、去模糊)获取数据集相当困难,对于单图像去噪目前主要是通过在原图上添加AWGN噪声来构造数据集,由于无法模拟真实场景的噪声,导致在构造数据集上表现较好的模型,在实际中表现一般;
在RGB空间构建噪声相对于RAW空间更难
论文提出一种数据集合成方法,可以在RGB和RAW两个空间中生成真实的图像噪声,
论文提出一种模型CycleISP可以将RGB图像转变为RAW图像,并可以逆向将RAW图像转变为RGB图像
CycleISP实现方法
网络训练过程:分别训练RGB2RAW和RAW2RGB两个网络,然后进行联合训练
RGB2RAW分支
数码相机采用一系列操作将RAW图像转变为RGB图像,RGB2RAW网络的目的是对相机通道逆向建模,
实现步骤:
1.使用M0——卷积操作进行特征提取:
2.通过n个RRG网络提取深度特征:
RRG——Recursive Residual Group
![]() | RRG网络包含P个DAB网络; DAB网路抑制不重要的信息,让重要的信息通过; 采用通道注意力机制(CA)和空间注意力机制(SA)实现 |
CA:学习通道间的依赖关系;squeeze operation(global average pooling,变换后形状1*1*C)+excitation operation(2个卷积层,并使用sigmoid作为激活函数)+对输入特征图U使用s进行变换
SA:学习特征图的空间依赖关系;采用(global average pooling和max average pooling)生成一个空间描述特征图H*W*2+卷积、sigmoid生成空间注意力特征图
3.使用M1——卷积操作生成大小为H*W*3的图像:
- 生成3通道的图像的优点:保留尽可能多的原始图像的信息;
- 有助于更快、更精确的学习特征图
4.使用Bayer sampling function生成RAW格式图像:
5.网络优化
采用L1正则化和log函数计算损失(log函数相当于对图像的像素进行归一化化,避免高亮度区域像素给网络带来的影响)
RAW2RGB
首先,我们先了解如何根据清晰的RAW图像生成清晰的RGB图像
实现步骤:
分为三步:生成RAW到RGB对应的特征图(对应步骤1-4),进行特征空间校正,生成最终的RGB图
1.以RAW相机原图作为输入,H*W*1
2.将RAW图像的2*2区域映射到4通道RGGB中,尺寸变为H/2*W/2*4
3.通过M2——卷积操作
4.K-1个RRG模块生成特征图
5.color attention unit
对于所有的类型的相机,使用一个CNN网络精确的实现RAW到RGB的映射十分困难,论文提出使用color attention unit,通过颜色校正分支提供精确
高斯模糊(确保仅有颜色信息进入该通道)+M3卷积层+2个RRG+M4门控机制+sigmoid激活函数
6. 1个RRG网络+M5卷积操作+Mup上采样
7.通过L1正则化进行模型训练
两个网络的联合训练
噪音的生成
生成RAW噪声图:通过RGB2RAW生成干净的RAW格式的图片,然后通过噪音模块添加噪音
生成RGB噪声图:将合成的RAW噪音作为输入通过RAW2RGB网络生成RGB带噪声的图像
图像去燥