ISP算法去噪

RAW DATA去噪
ISP（图像信号处理器），主要用来对前端图像传感器输出信号处理的单元，主要用于手机，监控摄像头等设备上。

RAW DATA，可以理解为：RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是无损的，包含了物体的原始的颜色信息等。

RAW数据格式一般采用的是Bayer排列方式，通过滤波光片，产生彩色滤波矩阵（CFA）

鉴于人眼对绿色波段的色彩比较敏感，Bayer的数据格式中包含了50%的绿色信息，以及各25%的红色和蓝色信息。

Bayer的排列格式有以下4种：

在ISP处理模块的第一部分，就是需要对CFA DATA进行去噪操作。普通的去噪方法针对Bayer数据格式是不合适的，需要进行变换后，才能进行处理。

一、中值滤波CFA Data 去噪方法

首先，让我们一起来回顾一下中值滤波的算法原理和以及优缺点，然后给出示意的算法效果图。

中值滤波顾名思义就是将滤波器里面所有的像素值进行排序，然后用中间值替代当前像素点值。

常用的中值滤波器有33,55等。

中值滤波的优点是：实现简单，能够有效地消除“校验”噪声，以及其它脉冲型噪声。缺点，也是所有去噪算法所共有的，就是平滑模糊了图像的内容，有些角点以及边缘的信息损失。

对CFA DATA进行去噪时，需要将不同的颜色通道分开进行处理，这样是为了防止在平滑过程中将有用的颜色信息丢掉，比如说，由绿色信息包围的蓝色像素与其相差很大时，此时就会被认为是噪声处理掉，然而真实情况是，该区域的蓝色信息都是很大的。所以各通道独立处理的话，是有利于保护颜色信息的。

RAW DATA 去噪（2）-BM3D算法

在ISP模块里，研究者们会讨论去噪模块（Noise Reduction）到底是在去马赛克模块（Demosaic）之前还是之后进行。如果在之前处理的话，随着去噪过程的进行，噪声点消除的同时，伴随着色彩信息的损失；如果在这之后，复杂的插值过程将会改变噪声的统计模型，使其变得很复杂并且难以计算。所以，更多的情况是选择在Demosaic之前进行去噪操作。

CFA Data 不能采用传统的灰度图像去噪算法，因为CFA图像中相邻的像素点具有不同的颜色信息度量，CFA图像的块状结构与没有传统意义上的平滑性以及分段恒常性，以至于一般的去噪算法对CFA图像并不适用。CFA DATA也不能够采用彩色图像去噪算法，因为每个像素点只含有一个颜色通道的信息。

①一种方法是，将原来的CFA图像阵列分成四小块(R,G1,G2,B),分别对这四块采用灰度图像去噪的方法。这种方法往往表现差，因为重要的色彩相关性信息被忽视掉了。CFA去噪算法可以通过利用CFA Data的空间以及色彩相关性来改善其效果。

②另外一种方法是利用CFA图像里面各颜色块的信息构造一幅低分辨率的RGB图像，这种方式很好的利用了其颜色相关信息，但是不能够较好的保护空间域上的高频信息。

③BM3D(Block Matching 3-D filtering algorithm)算法的提出，通过限制图像块具有相同的颜色配置结构来达到处理CFA图像的目的。

下面的BD3D算法的详细介绍：

1.基础估计

1).逐块估计(Block-wise estimates)

分组(Grouping)，找到所有与目前处理图像块相似的块，把它们堆在一起形成一个3维的数组(分组)。

联合硬阈值(Collaborative Hard-Thresholding).对已经组织好的分组进行3D变换，通过硬阈值3D变换系数达到减弱噪声的目的，然后通过3D反变换回去得到分组内图像块的去噪后估计，并返回到它们之前所在的位置。

2).聚集(Aggregation)

对所估计图像块重复遮盖的像素点进行加权平均，得到最终的像素值，也就是最后的基础估计结果。

2.最终估计

1).逐块估计(Block-wise estimates)

分组(Grouping)，使用图像块匹配的方法，找到原噪声图像以及基础估计图像里面与目前处理图像块相似的所有块，形成两个3维数组(分组)。

联合维纳滤波(Collaborative wiener-filtering).对已经组织好的两个分组进行3D变换，将基础估计图像的能量频谱作为真实的能量频谱对噪声图像分组进行维纳滤波，然后通过3D反变换回去得到所有分组的图像块估计，并返回到它们之前所在的位置。

2).聚集(Aggregation)

对所有得到的估计图像块重复遮盖的像素点进行加权平均，得到最终的像素值，也就是最后的最终估计结果。

BM3D如何找到相似图像块组织3D分组：如下图所示，正方形所示为各个图像块，左上的分组所选取的图像块都具有角点(尖点)特征，其他分组类似。

BM3D如何在CFA中进行处理：如下图所示，左边的分组里面的图像块具有不同的彩色配置，即R,G,B的排列方式不是一致的，而右边具有相同的彩色配置，所以其对于处理CFA图像是非常合理的。

上面将BM3D的算法原理以及细节操作都跟大家介绍清楚了，下面就来看一下BM3D对于CFA图像的算法效果：

原噪声图像

中值滤波图像

BM3D去噪图像

算法效果（PSNR）明显优于中值滤波，去噪模块就此结束，