【论文笔记】Mutual-Structure for Joint Filtering

Mutual-Structure for Joint Filtering

• Mutual-Structure for Joint Filtering
• Oral presentation in ICCV’15
• 网站含有matlab源码
  http://www.cse.cuhk.edu.hk/leojia/projects/mutualstructure/index.html

之前提出的联合滤波器直接转换参考图片的结构信息到目标图像上，而本文指出此类方法的一个主要的缺点是也许这两张图片的完全不同的边界，因此，提出Mutual structure的概念，其本质是一种结构信息。
本文首先说明，本文中的filter不是完全由参考图片（reference image）来指导处理目标图片（target image），而是引入了Mutual structure，并将其与其他的filter进行对比如下：

文章对对应的图片块之间的结构，分为三种类型：

• 一种是Mutual structure
• 一种是Inconvenient structure
• 一种是Smooth structure

具体如下的一对白天黑夜图所示。

基本上，图像三种块之间的关系，那么，怎么样衡量在图像 I 和 G 之间相关块结构的相似性？

可以想到归一化相关系数（NCC）：

由于NCC的非线性，所以不能直接使用在结构优化的程序中。
所以就采取的方法是，建立NCC和简单最小二乘回归的关系。
首先，在局部块N(p)的最小二乘函数为

定义最小误差函数e来进行系数优化，如下

文章简单证明了均方误差和NCC之间的联系如下：

然后提出如下的最小误差函数，注意与前面公式（3）的区别在于，交换了G，I，也就是说这里，目标图片和参考图片进行了互换，这在滤波器设计中是不常见的方式。

同上，这个关系可以推出

下面说明，本文中采用的块结构相似测量方法。
其实就是上面两个误差函数的相加：

考虑到

所以有如下的终极公式

优化这个公式（7），使得S最小，即基本上达到在块层次上的目标。

下面使用一个一维的信号例子来分析它们的性质特点

除了块层次上的目标，基于块层次的分析，提出在图片层次优化进行全局搜索Mutual structure。

它是块层次信息的总和。

但是如果使用公式8，可能会产生平凡解，这是因为图片块或者整张图片就没有edge information。（通俗来讲，如果方程组AX=0, 只有当X=0的时候才成立，就说方程组AX=0只有平凡解（trivial solution））
解决方式是，增加约束来避免平凡解，产生合理的平滑效果来去除噪声。