论文翻译-----《马尔可夫随机场在距离传感中的应用》

摘要

本文介绍了MRFs在高分辨率距离图像生成中的一个非常成功的应用。新一代距离传感器将捕获低分辨率的距离图像与获取配准高分辨率相机图像相结合。本文的MRF利用了区间不连续和颜色不连续趋向于共对齐的事实。这使得它能够通过将常规相机图像集成到距离数据中来生成高分辨率、低噪声的距离图像。我们表明，通过使用这种MRF，我们可以大大提高现有的距离成像技术。

1介绍

近年来，人们对范围测量技术的开发产生了极大的兴趣。商业上可用的技术包括两个或更多相机的被动立体声、主动立体声、三角测量光条纹、毫米波长雷达以及扫描和闪光激光雷达。在低成本领域，像Swiss Ranger和CanestaVision传感器这样的系统提供了获取低分辨率范围数据和被动摄像机图像的方法。这两种设备都能捕捉高分辨率的视觉图像和低分辨率的深度信息。这是许多设备在所有价格范围的情况下，包括高度赞扬的范围相机3DV Systems。

本文解决了大多数主动距离采集设备共有的一个缺点(立体视觉除外):即距离采集的分辨率比图像低得多。这就提出了一个问题:我们能否通过利用传统的相机图像，将低分辨率的深度成像仪变成高分辨率的深度成像仪?对这个问题的积极回答将极大地促进深度感知领域的发展。然而，我们缺乏将高分辨率的传统图像与低分辨率的深度图像融合的技术。本文将图形模型应用于低分辨率深度图像与高分辨率相机图像的融合问题。具体地说，我们提出了一种马尔科夫随机场(MRF)方法来集成这两个数据源。MRF背后的直觉是场景中的深度不连续性通常与相关相机图像中的颜色或亮度变化同时发生。由于相机图像通常具有更高的分辨率，这种洞察力可以用来提高深度图像的分辨率和准确性。

我们的方法使用多分辨率MRF来执行数据集成，它将图像和距离数据联系在一起。MRF定义的概率分布模式为我们提供了高分辨率的深度图。由于我们只对模态的寻找感兴趣，因此可以将快速优化技术应用于MRF推理问题，如共轭梯度算法。这种方法可以在几秒钟内生成高分辨率的深度地图，将深度传感器的分辨率提高一个数量级，同时提高局部精度。为了支持这一主张，我们提供了几个使用低分辨率激光测距仪与传统傻瓜相机配对获得的示例结果。

虽然本文中的建模或推断技术都不是新的，但我们相信本文提供了图形建模技术的一个重要应用，可以极大地改变整个不断增长的行业。

 图1:MRF由5种节点类型组成:测量值映射到两种变量，距离测量变量标记为z，图像像素变量标记为x。图像像素的密度大于距离测量值的密度。重构的范围节点(标记为y)是不可观察的，但它们的密度与图像像素相匹配。如文中所述，标记为w和u的辅助节点协调来自图像和深度图的信息。

2图像范围MRF

图1显示了为我们的任务设计的MRF。MRF的输入出现在两层，通过标记为xi的变量和标记为zi的变量。变量xi对应图像像素，其值为每个像素的三维RGB值。变量zi是距离测量值。距离测量的采样密度比图像像素小得多，如图所示

该MRF中的关键变量是标记为y的变量，它们以与图像像素相同的分辨率对重建范围进行建模。这些变量是不可观察的。标记为u和w的其他节点将图像信息用于估计深度地图y。

具体地说，MRF是通过以下可能性定义的:

1. 测深电势呈这种形式

这里L是可用于深度测量的指标集，k是放置在深度测量值上的恒定权重。该电位测量高分辨率网格y中的估计范围与变量z中的测量范围之间的二次距离。 

2. 深度平滑度先验由形式的势表示

 这里N(i)是与i相邻的节点集合。Φ是相邻节点之间的加权二次距离。

3.加权因子wij是一个关键元素，因为它们提供了到MRF中的图像层的链接。每个wij是对应的相邻两个图像像素的确定性函数，其计算公式如下:

 这里c是一个常数，它量化了我们对图像边缘进行平滑处理的不情愿程度

得到的MRF现在通过约束Ψ和Φ定义。目标变量y上的条件分布由以下形式的表达式给出

 其中Z是一个归一化器(配分函数)。

3优化

不幸的是，对于这样的MRF，计算完整的后验是不可能的，尤其是因为MRF可能有数百万个节点;即使是愚蠢的信仰传播[19]也需要大量的时间来收敛。相反，对于深度重建问题，我们将满足于计算后验模式。

当然，寻找对数后验的模式是一个最小二乘优化问题，我们使用著名的共轭梯度(CG)算法[12]来解决这个问题。在现代计算机上，一个典型的具有200000个节点的单图像优化大约需要一秒的时间。

为了简洁起见，省略了CG算法的细节，但可以在当代文本中找到。对于可能的深度图像重建的算法现在非常简单:只需通过z的双线性插值设置y[0]，然后迭代CG更新规则。结果是一个可能的重建深度地图在相同的分辨率作为相机图像。

4结果

我们的实验是用SICK激光测距仪和佳能消费者数码相机进行的，每张图像的像素为500万。两者都安装在由伺服驱动器控制的旋转平台上。这种配置使我们能够从一个一致的有利位置和已知的摄像机和激光位置一直观察整个房间。该系统的输出是一套预先对准的激光测距仪和相机图像。

 

 图2:我们的MRF方法的示例结果。面板(a-c)显示了原始数据、低分辨率的深度图、从该深度图构建的3D模型以及图像纹理叠加的相同模型。面板(d-f)显示了我们的算法的结果。深度图现在是高分辨率的，3D模型也是。与原始传感器数据相比，3D渲染是一个实质性的改进;事实上，许多小细节现在都是可见的。

图2显示了我们实验室中一个书架的扫描图。最上面一行包含原始测量的几个视图，最下面一行是MRF的输出。后者显然更尖锐，噪音更小;许多比激光扫描仪分辨率小的特征被相机图像拉出来。图5显示了更早以前的相同场景。

 

 

 图3:图像信息在深度恢复中的重要性在此图中得到了说明。它显示了门框的一部分，其中有课程深度图和细粒度图像可用。标记为(b)的渲染图显示了当颜色完全被忽略时，对于不同的权重wij固定值，我们的MRF结果。(c)中的图像是我们的方法的结果，它清楚地保留了门框的尖角。

更详细的内容见图3。在这里，我们检查了一间办公室的油漆金属门框。详细的结构是完全看不见的原始激光扫描，但很容易绘制时，图像数据的合并。值得注意的是，传统的网格光顺算法将无法恢复这种精细的结构，因为仅在范围数据中就没有足够的证据。具体来说，当使用固定的wij值运行我们的MRF时，它有效地解耦了距离图像和深度图像，深度重建导致模型要么是过度噪声(对于wij = 1或平滑wij = 5的边缘特征。我们的方法清晰地恢复了这些角落，这要归功于相机图像的使用。

 

 图4:这个例子说明了范围数据中的平滑量依赖于图像纹理。左边是一个木制的盒子，表面不光滑，导致明显的颜色变化。由MRF生成的3D模型提供了相对较少的平滑。背景是一堵几乎没有颜色变化的墙。在这里，我们的方法显著地平滑了网格;事实上，它提高了房间角落的能见度。

最后，在图4中，我们给出了一个靠近白墙的运输板条箱的例子。木质表面的粗糙纹理与光滑的白色墙壁形成对比。这带来了一个明显的问题，尖锐的颜色梯度经常发生在光滑的表面;以海报为例。虽然这一事实有时会导致错误的纹理表面，但我们的经验是，这些缺陷往往是不明显的肯定不会比最初的扫描结果差。显然，这种深度图的重建是一个不适定问题，我们的方法生成的高分辨率模型仍然明显优于原始数据。但是请注意，背景墙被准确地恢复了，房间的角落在视觉上得到了增强。

 图5:应用我们的MRF后，更大的室内环境的三维模型。

5相关工作

一种主要的深度采集技术是立体声。一个好的立体视觉算法的调查和比较可以是由于[14]。我们的算法不适用于立体视觉，因为根据定义，图像的分辨率和推断的深度图是等价的。被动立体视觉，其中传感器不携带自己的光源，无法估计在没有纹理(例如，当成像一个没有特征的墙)的范围。主动立体声技术提供自己的光源。然而，这些技术在特性上不同于基于激光的系统，在某种程度上使它们实际上不适用于许多应用(最显著的是:远程采集，其中飞行时间技术比三角测量技术精确一个数量级，以及明亮的室外环境)。我们注意到马尔可夫随机场已经成为一种定义方法立体重建[15]，以及分层em风格的方法[2,16];参见[14]中的比较。

对于距离图像、曲面和点云，有大量的文献关于在保持边缘等特征的同时进行平滑处理。包括扩散过程[6]、频域滤波[17]和各向异性扩散[5];参见[3]和[1]。最近[10]提出了一种有效的非迭代技术，用于特征保持网格平滑，[9]采用双边滤波技术用于网格去噪。[7]开发了各向异性MRF技术。然而，这些技术都没有集成高分辨率图像来指导平滑过程。相反，它们都在单色3D表面上运行。
我们的工作可以被视为生成超分辨率。超分辨率技术在计算机视觉领域和航空摄影测量领域中早已得到广泛应用。在这里，贝叶斯技术经常用于将多个图像集成到一个更高分辨率的图像中。这些技术都不处理距离数据。最后，多范围扫描通常集成到单个模型中[13,18]，但这些技术都不涉及图像数据。

6结论

我们提出了一种将高分辨率图像数据集成到低分辨率距离数据的马尔可夫随机场，以恢复与图像数据相同分辨率的距离数据。这种方法专门针对新一波商用传感器，它们提供的距离分辨率低于图像数据。这项工作的意义在于结果。我们已经证明我们的方法可以真正填补距离与图像之间的分辨率差距，利用图像数据有效提高测距仪的分辨率。虽然这里使用的技术都不是新技术(尽管CG通常不应用于MRF的推断)，但我们相信这是MRF第一次应用于多模态数据集成。许多科学领域将受益于更好的距离传感;目前的方法提供了一种解决方案，使低成本的测距仪具有前所未有的分辨率和精度。

参考文献

[1] C.L. Bajaj and G. Xu. Anisotropic diffusion of surfaces and functions on surfaces. In Proceedings of SIGGRAPH, pages 4–32, 2003.

[2] S. Baker, R Szeliski, and P. Anandan. A layered approach to stereo reconstruction. In Proceedings of the Conference on Computer Vision and Pattern Recognition (CVPR), pages 434–438, Santa Barbara, CA, 1998.

[3] U. Clarenz, U. Diewald, and M. Rumpf. Anisotropic geometric diffusion in surface processing. In Proceedings of the IEEE Conference on Visualization, pages 397–405, 2000.

[4] J. Davis, R. Ramamoothi, and S. Rusinkiewicz. Spacetime stereo: A unifying framework for depth from triangulation. In Proceedings of the Conference on Computer Vision and Pattern Recognition (CVPR), 2003.

[5] M. Desbrun, M. Meyer, P. Schröder, and A. Barr. Anisotropic feature-preserving denoising of height fi elds and bivariate data. In Proceedings Graphics Interface, Montreal, Quebec, 2000.

[6] M. Desbrun, M. Meyer, P. Schröder, and A. H. Barr. Implicit fairing of irregular meshes using diffusion and curvature flow. In Proceedings of SIGGRAPH, 1999.

[7] J. Diebel, S. Thrun, and M. Brüning. A bayesian method for probable surface reconstruction and decimation. IEEE Transactions on Graphics, 2005. To appear.

[8] M. Elad and A. Feuer. Restoration of single super-resolution image from several blurred. IEEE Transcation on Image Processing, 6(12):1646–1658, 1997. [9] S. Fleishman, I. Drori, and D. Cohen-Or. Bilateral mesh denoising. In Proceedings of SIGGRAPH, pages 950–953, 2003.

[10] T.R. Jones, F. Durand, and M. Desbrun. Non-iterative, feature-preserving mesh smoothing. In Proceedings of SIGGRAPH, pages 943–949, 2003.

[11] I. K. Jung and S. Lacroix. High resolution terrain mapping using low altitude aerial stereo imagery. In Proceedings of the International Conference on Computer Vision (ICCV), Nice, France, 2003.

[12] W. H. Press. Numerical recipes in C: the art of scientific computing. Cambridge University Press, Cambridge; New York, 1988.

[13] S. Rusinkiewicz and M. Levoy. Effi cient variants of the ICP algorithm. In Proc. Third International Conference on 3D Digital Imaging and Modeling (3DIM), Quebec City, Canada, 2001. IEEEComputer Society.

[14] D. Scharstein and R. Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision, 47(1-3):7–42, 2002.

[15] J. Sun, H.-Y. Shum, and N.-N. Zheng. Stereo matching using belief propagation. IEEE Transcation on PAMI, 25(7), 2003.

[16] R. Szeliski. Stereo algorithms and representations for image-based rendering. In Proceedings of the British Machine Vision Conference, Vol 2, pages 314–328, 1999.

[17] G. Taubin. A signal processing approach to fair surface design. In Proceedings of SIGGRAPH, pages 351–358, 1995.

[18] S. Thrun, W. Burgard, and D. Fox. Probabilistic Robotics. MIT Press, Cambridge, MA, 2005. [19] Y. Weiss and W.T. Freeman. Correctness of belief propagation in gaussian graphical models of arbitrary topology. Neural Computation, 13(10):2173–2200, 2001.