《Automatic Estimation and Removal of Noise from a Single Image》阅读笔记

（06年的文章，原以为还是深度的，好吧,,,就硬着头皮看了一下，希望可以学到一些东西，学到一些传统的东西，好像并没有什么用。。。。。）

自动估计和消除单个图像中的噪声

图像降噪算法通常假定与实际RGB值无关的加性高斯白噪声（AWGN）处理。 这种方法不是完全自动的，不能有效消除当今CCD数码相机产生的色噪。 在本文中，我们为两个任务提出了一个统一的框架：使用分段平滑图像模型自动估计和消除单个图像中的颜色噪声。 我们介绍了噪声水平函数（NLF），这是一个连续函数，将噪声水平描述为图像亮度的函数。 然后，我们通过将下包络拟合每个段图像方差的标准偏差来估计实际噪声水平函数的上限。 对于降噪，通过将像素值投影到适合每个段中RGB值的线上，可以显着消除色彩噪声的色度。 然后，构造高斯条件随机场（GCRF），以从嘈杂的输入中获得底层的干净图像。 进行了广泛的实验以测试所提出的算法，该算法的性能优于最新的去噪算法。

关键词：图像去噪 分段光滑图像模型 基于分割的计算机视觉算法 噪声估计 高斯条件随机场 自动视觉系统

1. 介绍

图像降噪已经在计算机视觉，图像处理和统计信号处理中研究了数十年。 这个问题不仅为检查自然图像模型和信号分离算法提供了一个良好的平台，而且成为数字图像获取系统中提高图像质量的重要组成部分。 这两个方向都很重要，将在本文中进行探讨。

现有的大多数图像去噪工作都是假设加性高斯白噪声（AWGN）并消除与RGB通道无关的噪声。 但是，如果相机的系列和品牌以及相机设置（ISO，快门速度，光圈和闪光灯开/关）未知，则数码相机产生的噪音的类型和级别是未知的。 例如，每张图片附带的可交换图像文件格式（EXIF）元数据可能会在图像格式转换和图像文件传输中丢失。 同时，由于嵌入在相机中的去马赛克处理，颜色噪声的统计信息并不独立于RGB通道。 因此，当前的去噪方法不是真正的自动方法，并且不能有效地消除颜色噪声。 该事实阻止了噪声去除技术被实际应用于数字图像降噪和增强应用。

在某些图像去噪软件中，要求用户指定多个平滑图像区域以估计噪声水平。 这促使我们采用基于分段的方法来自动估计单个图像的噪声水平。 由于噪声水平取决于图像亮度，因此我们建议从图像估计噪声水平函数（NLF）的上限。 图像被分为多个分段平滑区域，其中平均值是亮度的估计，而标准偏差是噪声水平的高估。 噪声级功能的先验是通过模拟数码相机的成像过程来学习的，并用于在丢失数据的情况下帮助正确估计曲线。

由于从单个输入中分离信号和噪声受到了限制，因此从理论上讲不可能从受噪声污染的观察中完全恢复原始图像。图像去噪的目的是在消除噪声的同时尽可能保留图像特征。 在设计图像去噪算法时，我们需要匹配许多原理。

（a）感知上平坦的区域应尽可能平滑。 这些区域应完全消除噪音。
  (b）图像边界应妥善保存。 这意味着不应模糊或锐化边界。
  (c）纹理细节不应丢失。 这是最难匹配的条件之一。 由于图像去噪算法倾向于平滑图像，因此平滑过程中很容易丢失纹理节。
 （d）应保留全局对比度（即，去噪后的低频图像和输入图像应相同）。
   (e）去噪图像中不应出现伪像。

全局对比度可能是最容易匹配的，而其他一些原理几乎是不兼容的。 例如，（a）和（c）很难一起调整，因为大多数降噪算法无法从单个输入图像中区分出平坦区域和纹理区域。 另外，满足（e）也很重要。 例如，基于小波的去噪算法倾向于产生振铃伪像。

理想情况下，应将同一图像模型用于噪声估计和降噪。 我们发现基于细分的方法同样适用于这两项任务。 在将自然图像过度分割成分段平滑区域后，由于图像形成的物理定律，每个段内的像素值大约位于RGB空间中的1D线上[25，23，19]。这个重要的事实有助于显着降低色彩噪声。 我们通过构造高斯条件随机场（GCRF）来从噪声图像中估算出干净图像（信号）来改善结果。

进行了实验，结果令人信服，并且在视觉上令人愉悦，以证明我们基于分段的降噪算法优于现有技术。 由于噪声水平是自动估计的，因此我们的方法具有明显的自动性。自动估计噪声水平也可以使其他计算机视觉算法受益。 例如，可以将立体声，运动估计，边缘检测和超分辨率算法的参数设置为噪声水平的函数，这样我们就可以避免针对不同噪声水平调整参数。

本文的结构如下。 在回顾了第2节中的相关工作之后，我们在第3节中介绍了我们的分段平滑图像模型。在第4节中，我们提出了从单个图像进行噪声估计的方法。 我们在第5节中详细介绍了基于分割的图像去噪算法，第6节中显示了结果。第7节中讨论了色彩噪声，建模和自动化问题，第8节中提供了总结。

2. 相关工作

在本节中，我们将简要回顾以前在图像降噪和噪声估计方面的工作。 图像去噪技术在图像先验模型的选择上有所不同，而现有的噪声估计技术则假定加性高斯白噪声（AWGN）。

2.1 图像去噪

在过去的三十年中，在图像处理和计算机视觉社区中已经开发了多种去噪方法。 尽管看似非常不同，但是它们都具有相同的属性：保留有意义的边缘并删除不太有意义的边缘。 我们通过不同的自然图像先验模型和自然图像统计的相应表示对现有图像去噪工作进行分类。

小波：当自然图像分解为面向多尺度的子带[30]时，我们观察到峰度边缘分布[15]。 为了强制边缘分布具有高峰度，我们可以简单地抑制低振幅值，同时保留高振幅值，这是一种称为取心的技术[39，43]。

在[42]中，发现小波的联合分布是相关的。 开发了一种联合取芯技术，以在不同方向和比例子带上同时推断小邻域中的小波系数。 去噪的典型联合分布是高斯比例混合（GSM）模型[37]。 另外，小波域隐马尔可夫模型已经被应用到图像去噪中，并获得了有希望的结果[8，13]。

尽管基于小波的方法在去噪中很流行并且占主导地位，但是很难去除小波重构的振铃伪影。 换句话说，基于小波的方法倾向于在去噪图像中引入其他边缘或结构。

各向异性扩散：最简单的噪声消除方法是高斯滤波，它等效于求解各向同性的热扩散方程[46]，即二阶线性PDE。 为了保持锋利的边缘，可以使用[34]进行各向异性扩散，其中，而g是单调递减函数。 结果，对于高梯度像素，小，因此扩散较少。 对于低梯度像素，具有较高的值，并且这些像素被相邻像素模糊。 在[3]中讨论了选择g（·）的更复杂的方法。 与简单的高斯滤波相比，各向异性扩散可以在保持边缘的同时消除噪声。但是，它倾向于使图像过度模糊并锐化边界，并丢失许多纹理细节。

已经开发了更高级的偏微分方程（PDE），以便为给定的（用户定义的）基础局部平滑几何设计一个特定的正则化过程[52]，比经典的各向异性扩散方法保留更多的纹理细节。

框架和FOE： 作为测量小波系数上的边际或联合分布的一种替代方法，可以从边际分布中学习整个图像的完整先验模型[18，55]。 因此，自然可以使用贝叶斯推理进行降噪或恢复[54，40]，其形式为：，其中是线性滤波器（是通过将镜像到其中心像素周围而获得的滤波器），是对应的吉布斯势函数，σ2是噪声的方差，t是迭代指数。因为导数通常具有接近零的高值和高振幅的低值，所以如果将Fi视为不同方向的导数滤波器，则上述PDE非常类似于各向异性扩散[54]。

使用MCMC学习Gibbs分布可能效率不高。 同时，这些方法具有与各向异性扩散相同的缺点：过度平滑和边缘锐化。

双边过滤：适应高斯滤波以保留边缘的另一种方法是双边滤波[51]，其中同时考虑了空间距离和距离距离。 文献[2]推导了双边滤波与各向异性扩散之间的本质关系。 在[10，33]中也提出了快速双边滤波算法。

双边滤波已被广泛认为是一种简单有效的降噪算法，尤其是在恢复H​​DR图像时对彩色图像进行降噪[10]。 但是，它不能处理斑点噪声，并且也具有过度平滑和边缘锐化的趋势。

非局部方法：如果场景和摄像机都是静态的，我们可以简单地拍摄多张照片并使用均值消除噪点。 该方法对单个图像不切实际，但是可以从空间均值中计算出时间均值-只要单个图像中有足够的相似图案即可。 我们可以找到与查询补丁相似的模式，并采用均值或其他统计信息来估算真实像素值，例如，在[1，5]中。 这种方法的更严格的表述是通过对噪声输入的稀疏编码[11]。

对于包含许多重复图案的类似纹理的图像，非局部方法效果很好。与具有复杂度（其中n是图像宽度）的其他降噪算法相比，这些算法具有时间复杂度，这对于现实世界的应用是禁止的。

条件随机场： 最近，条件随机场（CRF）[26]已经成为一种有前途的统计推断模型。 由于没有明确的信号先验模型，CRF可以灵活地对短距离和远距离约束及统计数据进行建模。 由于嘈杂的输入和干净的图像在图像特征处对齐良好，因此CRF（尤其是高斯条件随机场（GCRF））可以很好地应用于图像去噪。 在[47]的去噪工作中已经显示出初步的成功。 在[49]中也讨论了学习GCRF。

2.2 噪声估计

可以从多个或单个图像中估计与图像有关的噪声。 从多个图像进行估计是一个过度约束的问题，在[24]中已解决。 但是，从单个图像进行估计是一个约束不足的问题，因此必须对噪声进行进一步的假设。 在图像去噪文献中，噪声通常被认为是加性高斯白噪声（AWGN）。 广泛使用的估计方法是基于平均绝对偏差[9]。 在[16]中，从平滑或小的纹理区域的梯度估计噪声水平，并针对每个强度间隔估计与信号相关的噪声水平。 在[45]中，作者提出了三种基于训练样本和自然图像的统计量（拉普拉斯）估计噪声水平的方法。 在[36]中，提出了一种广义期望最大化算法来估计破坏观测图像的噪声源的频谱特征。

已经提出了用于噪声估计然后降低噪声的技术，但是它们倾向于启发式。 例如，在[21]中&#