DONE_Towards an Evaluation of Denoising Algorithms with Respect to Realistic Camera Noise

【20240417】之所以阅读这篇论文，是为了补足生成图像过程中噪声产生的原理，以及处理过程中噪声特性发生了怎样的转变。这篇文章真正核心不在这里，但用于补充我的基础知识也足够了。针对性的开始阅读！

Abstract

本文做图像去噪质量评价

去噪算法开发通常依赖于AWGN的噪声，人为生成噪声图像再处理，这不符合真实图像的噪声特性，意味着 对真实噪声场景效果有限。真实图像噪声特点：信号相关、空间相关。

本文工作：
1、提出了一种基于真实相机噪声的去噪算法评估方法。提出新的相机噪声模型，进行真人主观测试
2、去噪效果评估：使用一堆质量评价指标（10个全参考指标和1个无参考指标）比较了去噪结果。

I. INTRODUCTION

背景知识：
1、对更高分辨率的需求推动 sensor 像素数增加，相应的 pixel size 减少。单个 pixel 捕获的光量减少，PSNR 降低。
2、前人[14]研究表明，raw域噪声和信号相关。
3、ISP流程中，demosaic 在噪声特性中引入了空间相关性，颜色变换引入了非线性，因此rgb域的噪声和 AWGN 有很大差异。

本文工作：提出了一种方法，评估基于真实相机噪声的去噪算法。

1、提出一个新的相机噪声模型，包括完整的处理链。评估了两种最先进的去噪算法，对AWGN测试图像和使用我们提出的真实相机噪声模型生成的图像的去噪结果。

2、为了评估去噪图像的视觉质量，需要一个可靠的质量度量。到目前为止，还没有质量指标针对真实的相机噪声进行测试。为了以可靠的方式确定测试图像的视觉质量，需要对人类观察者进行主观测试。此外，将主观测试的结果与大量现有质量度量进行比较。我们将详细评估各个处理步骤如何影响这些指标的性能。这使我们能够确定最合适的度量来评估与现实相机噪声相关的去噪算法。

♥我目前不关心2，评价指标很重要，但当前的我更关心1，具体来说是：raw域噪声特性，raw域噪声模型，raw域数据获取后如何处理。

II. CAMERA NOISE

为获得 raw 数据的相机噪声模型，本文测量了raw域的真实图像噪声。

ARRI Alexa 相机，16位精度未压缩原始数据，分辨率为 2880×1620 的CMOS传感器。测量相机噪声方差，使用光子传递法——使用在恒定和均匀光照条件下记录的两个后续帧，方差计算为这两帧之间的差的平均值，相应的信号值计算为这些帧中所有信号值的平均值。

图2 是raw域的统计结果，横坐标是平均信号值，纵坐标是噪声的方差和分布。
（a）：信号强度和噪声方差近似为线性关系，在0.1*10^4处出现跳变，因为有Alexa相机的双边增益读出技术，当信号值小的时候，压低噪声值，提高信噪比。
（b）：信号的分布符合高斯分布，噪声和信号是线性关系，所以噪声也符合高斯分布。

raw 域噪声可以用高斯分布近似，噪声方差和信号相关

===========================================================================

III. CAMERA NOISE IN THE PROCESSING PIPELINE

（1）白平衡：给四通道×增益因子，使得R=G=B。
线性变化过程，噪声强度会变，但是分布不变。

（2）去马赛克：使得每个像素具有三个颜色值的全彩图（具体细节暂时不够明白，TBD）。
非线性变化过程，处理后噪声有空间相关性，颜色相关性。
如图3所示，demosaic处理后，图像的噪声有结构性，颗粒更粗。

（3）颜色变换：由多个步骤组成，非线性色调映射（TM或者DRC），颜色空间转换（CSC）、伽马变换，将图像转换为显示器颜色空间。
TM、gamma：导致了非线性的和信号强度相关的噪声，噪声分布未知。
CSC：增强色彩，增强空间相关性。

结果：从原本raw域的纯粹噪声模型，经过一系列步骤后，噪声的特点发生了变化：空间相关、依赖信号、噪声分布未知。