图像处理算法 | 联合双边滤波（Joint Bilateral）

联合双边滤波（Joint or Cross Bilateral）这个算法是从论文《Joint Bilateral Upsample》（中文名：联合上采样双边）中看见的，论文在引用双边滤波器的时候介绍了它，虽然它也有“Joint”这个关键词，但是和“Joint Bilaterl Upsample”有本质的差别。

一、算法原理

    论文中把双边滤波的公式换了个样子，如下式（1）所示：

我来翻译一下这个公式的意思：f和g都是高斯函数，中心点是p，q在Ω的范围内，I是输入。“||....||”是范数，在这里就是求向量各分量的平方和再开根号，∑是把Ω范围内的结果累加，kp是算出来的权重和。再进一步解释一下这个公式到底想说啥，它想说：

1. 我是图像中的一个像素，我有三个量，x方向坐标，y方向坐标，亮度I；
2. 以当前我的位置p(x,y)为中心点，我划出了一个范围Ω，假设现在这个范围是5×5，那么围绕着我的有24个q，加上我自己，共25个，目前的运算要在Ω指定的范围内；
3. 我要计算距离和亮度两个范数“||....||”，距离的做法是用p的坐标(x,y)减去q的坐标(x1,y1)的平方，得到25个距离结果，亮度的做法是用p的亮度减去q的亮度，得到25个亮度结果；
4. 我选择的核是高斯函数，所以我给距离结果分配一个高斯函数f，再给亮度结果分配一个高斯函数g，其实f和g都是exp，计算exp获得距离权重和亮度权重，把这两个权重乘起来得到25个混合权重k；
5. 用25个混合权重k和5×5范围内的亮度I对应相乘，然后把它们加起来记为sum，再把k也加起来记为kp，就是归一化系数；
6. 当前中心点p的滤波结果Jp=sum/kp,把一整幅图像全都做上述操作输出，就是双边滤波的结果。

这就正经论文里面正经公式的意思，可能就是为了让正经人看不懂吧，也无力吐槽，不过看懂一个就能看懂很多个了。它就是在说，图像中的每个pixel都是以块为单位计算的，要经过两个高斯核获得滤波权重，所以图像中的核就是一个二维系统，图像中所有的pixel都要从里面过一遍，找到了合适的系统就能得到满意的效果。

然后紧接着论文中提到了joint (or cross) bilateral滤波器，给出了公式如（2）所示：

和公式（1）相比只有红框中圈出的部分做了改变，这代表着joint (or cross) bilateral改变的是值域滤波的内容，论文中明确指出要把高频图像和低频图像结合起来做联合滤波，而I浪（I上面的那个波浪真心打不出来，简称为“I浪”）作为导向图（guidance image）做值域滤波。

上面这短短的一段话并没有说明I是低频还是高频，但是公式中明确写了被滤波的还是Iq，那说明I是高频图像，I浪是低频图像，把I经过高斯滤波就能得到一幅低频I浪。思路有了，现在开始做测试。

二、图像处理效果 

输入图像为加了高斯滤波的Lena图，对输入图像做3x3的高斯滤波，得到的效果如下图1所示：

图1  输入图像（左）和高斯滤波（右）

用高斯滤波的结果做值域权重（guide）对输入图像做双边滤波的结果如图2右所示，为了对比效果，把双边滤波的结果（图2左）也跑出来一起显示：

图2  双边滤波（左）和联合双边滤波（右）

上传会压缩图像造成噪点变形，看不出真实情况，所以这里也建议需要学习相关知识的时候自己动手跑一下结果。实际情况是联合双边滤波效果更好，把上面两幅图像的放大分别看平坦部分（图3）和纹理部分（图4）的细节。

图3 平坦区域，左边是双边，右边是联合双边

左边是可以看见残留的噪点的，但是右边已经很平滑了，平坦区域来看，联合双边效果更优。

图4 纹理区域，左边是双边，右边是联合双边

纹理区域也是一样，左边双边的噪点降不干净，右边联合双边的效果要好很多。再来分析一下为什么联合双边的效果会好很多，还记得《双边滤波器》章节中的局部权重放大图吗？就是下面图5的这个：

图5 双边滤波局部权重放大图

图5中值域权重是含噪的，这就造成最终的融合权重也是有噪声的，所以双边滤波相当于是用含噪声的图像当guide去指导降噪，那效果差一点儿也是意料之中了。而联合双边用的是高斯滤波后的guide图像指导输入图像降噪，噪声的影响会减弱一些，现在把联合双边同样位置的局部权重放大看一下。

图6 联合双边滤波局部权重放大图

图6左边的I就是输入图像，右边的guide是I经过3×3高斯的结果，图中的（b）~（e）是根据guide计算出的权重，最终的混合权重作用在（a）上，和图5的值域权重相比，图6的值域权重要更干净一些，最终的混合权重几乎没什么噪点，纹理区域的边界也更清晰，所以联合双边滤波优于双边滤波。

分别使用3×3、5×5和7×7高斯滤波做联合双边guide的效果如图7所示：

图7 3 × 3高斯(左)，5 × 5高斯(中)，7 × 7高斯(右)

从图7来看，联合双边滤波的结果会越来越低频，但是边界保护的相对较好。