Amber:作者强调实现真值图和噪声图的对准是困难的,并且提出一个解决方案,这个方案的实现逻辑还没有完全看明白,继续加深
TBD:看以下内容,其他部分暂时不管
1、Introduction细读
2、使用的数据集&评价标准
3、和SOTA方法的对比方式&结果
Abstract
1、背景知识:基于 calibration 的方法在极低光照的 RAW 图像去噪中占主导地位,该方法有诸多不足(此处略)
2、作者提出一个 calibration-free
的性能不受数字增益和相机 sensor 影响
的 pipleline LED
3、好处:不需要重复标定噪声参数和训练,只用使用较少的配对数据+微调就可以适配新 sensor
1、Introduction
1、用 RAW 图去噪比用 RGB 好:原始的易于处理的噪声分布&更大的比特位深,都有利于区分信号和噪声
2、不可能为每个相机模型分别构造真实RAW图数据集,要用合成的数据集&基于学习的方法
(a)基于校准/对齐的图像去噪方法
2、Related Work
2.1 用成对的真实数据训练
- SIDD:RAW数据图像去噪的先锋
- SID、ELD:可以处理极微光环境
- Noise2Noise、Noise2NoiseFlow:使用成对低质量raw图训练,避免了获取 noisy-clean 图像对的体力劳动。但无法应对强噪声场景,如非常黑暗的环境。
- LED:在极微光环境拍摄少量成对的图像,补充去除噪声的信息
2.2 基于标定去噪
- 合成噪声方法的局限:在极微光环境下合成噪声模型的泊松/高斯噪声和真实噪声分布偏差巨大
- 基于标定去噪的方法
- 优点:模拟
电子成像pipeline
的每个噪声分量,写实向 - 不足
- a) 标定过程要稳定照明&复杂后处理,费力&耗时
- 稳定照明:亮度和温度
- 标定专用数据集:每个相机设置的数十张图
- 复杂后处理:对齐、定位和统计
- b) 不同 sensor 特性不同,去噪模型难迁移应用
- c) 合成噪声和真实噪声之间存在差异,高数字增益会将这种差异放大
- a) 标定过程要稳定照明&复杂后处理,费力&耗时
- 优点:模拟
- LED: a calibration-free pipeline, a pre-training and fine-tuning framework, a proposed
RepNR
block
3、从合成噪声到真实噪声
- 在合成数据集上训练,在真实数据集上验证,数据的差异不可避免。如何弥补?
- AdaIN、few-shot learning:使用迁移学习、域适应来缓解(TBD:是什么?)
- 极暗场景,这些方法的信号重建失效,因为极端噪声&数字增益会导致数值不稳定
- LED(TBD:看不懂)
- propose
camera-specific alignment
:避免了数值不稳定,解耦了the camera-specific information
&the noise model's common knowledge
- 对齐步骤可以当作卷积的一部分?
- propose