Benchmarking Denoising Algorithms with Real Photographs_CVPR2017

Abstract

1、在过往研究中，图像去噪算法缺少无噪声的真值，而人为构建的噪声模型不真实，效果不好。

2、作者的思路：构建有噪图&对应的无噪图的成对真实数据集——本文的贡献

Amber：这是很硬核的做实事的思路，实现过程必然遇到很多工程问题。

• 获取有噪图和对应无噪图的方法：不同模拟增益（ISO） +适当调整曝光时长
• 为获得真值的后处理步骤
  • 基于异方差 Tobit 回归模型的线性强度变换来校正空间错位，处理曝光参数的不准确性
  • 去除由微小光照变化等引起的残留低频偏置

3、成果

• 构建的基准数据集：the Darmstadt Noise Dataset (DND)
• 发现了在合成的噪声数据集上表现更好的最新的技术方法，在真实噪声图上表现不如传统方法 BM3D
• 提出了和以往科学方法不同的现实评估方案——有开创性

看 BM3D 实现思路：DONE，看了摘要，暂时不进一步深入
【科普】
ISO 表示 sensor 感光模块的感光度。同样曝光时间下，ISO值越小，画面越暗；ISO值越大，画面越亮，但是画面会增加噪点，降低画质，特别是晚上拍摄时噪点非常明显。
ISO值越小拍的照片越精细，ISO值越高拍的照片噪点越多越蒙。

1、Introduction

为什么需要图像后处理？

• 实际应用中传感器的模拟增益和曝光时间无法非常精准控制，这使得两张图片的强度上存在线性依赖关系。——要消除掉（个人理解是模型会优先学依赖关系，偷懒得到局部最优解，但这很容易过拟合，模型不具有普适性）
• 光照的微小变化会导致低频偏置——通过高通滤波在噪声为零均值的变换域中去除有噪图和参考真值图之间的残差
• 移动的物体和曝光之间微小的相机抖动——手动标注和亚像素对齐

如图：几乎无噪声的低 ISO 图像，和有噪声的高 ISO 图像。实际工作使用的 RAW 图，为了展示效果此处用 JPEG。

莫林：高增益有噪声，低增益可以直接做真值吗？

Amber：RAW 图怎么获得？有些商业相机所谓的 RAW 图也是经过一些处理压缩后的结果。作者用的 RAW 图是怎样的。

本文发现
1、对真实噪声图像，传统方法BM3D比当前技术有更好的表现
2、消费相机的噪声强度明显低于文献中通常的假设

2、Related Work

shot noise：光子撞击传感器的随机到达过程引起的噪声，符合泊松分布。
方差与特定像素处的平均强度成正比，因此在整个图像上不是平稳的。

在 DND 数据集上测试降噪算法，指标为平均PSNR。

RAW
VST
sRGB

背景知识：无噪声的图片强度正比于曝光时间，也正比于ISO。
yr和yn是理想的无噪图片。
yn的ISO是yr的n倍，yr的曝光时长是yn的n倍，那么理论来说yn=yr。
因为yr→xr是ISO小，增加曝光时长，实际产生的图片xr噪声也小，因此xr可以近似等同于yr。
而yn→xn是ISO大，曝光时间短，这个过程产生的噪声大。
理想情况是，我们用yn作为有噪图xn的真值，但是由于我们无法获得yn，于是yn=yr≈xr，一退再退，用xr作为xn的真值。

而后xr后处理post-processing

4、Post-Processing

这部分内容没仔细看，讲得太复杂了。它大概意思是：测试发现xr和xn之间除了噪声以外还有别的差异，主要原因是增益和曝光时间不准确引起的误差，作者提出了异方差Tobit回归模型进行校正。

如果我后续采集了raw域图像数据，确实需要做精细化后处理，再来补充阅读。现在我的工作不需要到这一精度。