Adaptive Bilateral Filter for Sharpness Enhancement and Noise Removal 阅读理解

        ABF则是一直新的基于训练的图像恢复算法，它的范围是处理适合数码摄影的图片，不考虑那些严重退化的图像。图像恢复算法的广泛应用的成功将取决于算法开发的退化模型的一般程度，以及算法的整体结构对偏离假设的退化模型的程度有多强。

       ABF通过增加边缘的斜率从而达到图像锐度增强的效果，并且不会出现过锐等问题，它不需要进行边缘检测，边缘方向计算以及边缘的横截面进行计算。当然与USM这种通过增加高频算法进行图像增强算法也不一样。ABF中，边缘的斜度变化是通过局部直方图分布变化，这个局部直方图通过一个自适应宽度和偏移量的灰度值滤波器实现。ABF的参数是通过大量的样本训练得到。ABF可以同时继续图像增强和去噪。

 

1 双边滤波如何实现保边滤波的？

  传统的高斯滤波只考虑空间域进行平滑，离中心点越近权重越大，反之越小。这种低通滤波会丢失很多高频信息，因此人们提出了双边滤波，通过增加值域滤波器，也就是考虑像素之间的差值，差值越小的临近像素权重越大。因此可以对边缘等高频区进行一定的保留。

2  ABF相比传统的BF做了什么修改？

ABF相比BF，有两点不一样：第一点，其值域核的delta自适应，该delta不是一个固定的值，而是基于局部某种特征（局部高斯拉普拉斯算子）计算得到（下面会细细道来）；第二点，值域滤波器的本质是考虑像素间的差值，差值越小，权重越大，因此可以将值域滤波器看作处理图像的灰度直方图的一维滤波器。通过修改中心像素点与领域内像素的差值大小从而修改原有的权重分布，从而达到像素值的变化。因此第二点就是修改中心像素点与邻域内像素的差值，也就是对差值增加一个偏移量epslison，该偏移量可以为{0，正数，负数}。

3 为什么ABF可以增加图像的锐化度？

   第一点，值域核的delta自适应，它控制着值域滤波器的宽度，我们知道delta越大（方差越大），各个邻域像素的权重差不多，会使得值域滤波器的左右降低，极端情况会等效于空域滤波器。反之delta小，则使得值域滤波器占主导，该双边滤波器的权重更多的靠值域滤波器。可以发现delta只是一种锐化增强的前提，仅仅是保证原有的图像锐度，如果要增强图像的锐化度，还得依靠偏移量epslison。文章通过几张图像形象的表述了为什么可以增强，我这里简单的说一下，值域滤波器通过中心点与邻域像素的差值来决定当前邻域各个像素的权重。通过权重的修改我们可以使得当前像素的值得到变化，那么如何变化就得看当前像素属于哪类像素，本文通过当前像素的强度与该局部均值的差值来将当前像素分为3类，当前像素的强度等于局部均值时说明当前像素位于平滑区域，当前像素不等于局部均值时则说明位于边缘处，其中如果小于均值说明位于边缘的低像素值区域（通俗的说法，边缘通常由于高低像素值相邻而产生的），大于均值说明位于边缘的高像素值区域。那么为了达到锐化效果，就要提高边缘的斜度，尽量拉大高低像素值的落差，因此当位于低像素区域时，我们要使小于均值的领域像素值权重加大，因此偏移量为负值，使得均值左边的像素值（灰度直方图的左边）权重增加，反之当当前中心像素值大于均值，则偏移量为正值，增加均值右边的像素值的权重。从而提高了边缘斜度的大小达到边缘锐化的效果。

 

3. ABF如何确定应该用多大的delta和epslison？

要控制好锐化的效果要同时取决与delta和epslison，那么如何确定呢？这次采用基于样本训练的方法，类似深度学习，通过大量样本训练得到。这里将delta和epslison的求解问题看作一个最小均方误差问题，将像素分为T类，因为delta和epslison是一起训练得到，这个问题没有闭解，因此设置的一个解空间，delta的范围为【5，45】，epslison 的范围为【-60，60】，delta的变化率为1，epslison为2，因此总共的参数组合为50*60 =3000个。 即要确定当像素值为A类时，应该用那个参数对。因此下一步确定如何对像素分类，前面我们说可以通过当前像素与均值的差值确定当前像素的类别（这里粗分为3类），根据epslison的值不同需要进一步分类。也就是找到一个合理的特征，有了好的特征才能更好的分类，当前像素值与均值的差值确实很好的关联了锐化和平滑效果，但是它容易受到噪声干扰。而考虑特征点的合理有三点：1.能够反映边缘的强度大小；2可以区域当前像素点属于哪个区域（边缘的高低像素区域或者平滑区）；3抗噪声干扰。

 基于特征的选择考虑，本文采用的时LOG（高斯拉普拉斯算子），原因三点：1 它的值反应了当前像素区域类别（平滑区或者边缘区域），有一个特例就是当中心点位于边缘中心，此时LOG的值也为0，跟平滑区一样，但是还好双边滤波还有一个空间域滤波器，作者用图5解释了这个特例不影响效果。2，LOG有一个高斯滤波的过程，会对噪声进行减弱；3，LOG的值的正负可以直接反应当前的中心像素位于均值的左边还是右边也就是边缘的高像素区域还是低像素区域，从而决定epslison的取值。因此epslison的取值不再靠当前中心像素与均值的差值来决定而是由LOG的值。作者进一步解释了Log的核的大小以及其delta的取值理由。确定了特征，通过LOG的输出值类代表像素的类别，不同类别的像素值需要找到最合适的参数对（delta，epslison）。因此作者进行样本训练，得出结论见下图：LOG的输出值只考虑【-60，60】即像素一共120种类别，图a表示epslison与类别几乎成线性关系即其1/2。图b则表示delta与类别成一个W型的折线关系。得到了这两幅图就可以作用到要处理的图像上了。

4. 为什么LOG可以用作特征？

   首先看下图：斜坡边缘和它对应的LOG反应。边缘假设为48慢慢的上升到200。我们要做的事就是将这个斜坡变得更陡一点。拉普拉斯算子属于一个二阶导数，刚好在边缘中心为0，因此通过0值可以定位到唯一的一条边，不像一阶导数的算子会检测出两条边。 因此在边缘低像素边，LOG值波谷，高像素边，LOG值波峰，边缘中心为0，很好的区分了像素类别，再看看训练出来的delta和epslison与LOG值的关系，epslison偏移量从-30到30，符合前面讨论的增强的理论，delta越小，值域所占权重越大，可以发现从边缘中心（边缘横切面）到低像素区域的临界边或者到高像素区域的临界边都是先增后减。增加时，空间滤波的权重增加，因此可以进行降噪的操作，到达一定时候减少时，又开始增加值域滤波器的权重，确保epslison的效果。为了保证偏移量来产生最大的影响，当LOG小于-29或者大于30时将delta确保较小因此都直接弄到较小值。