图像算法 |单一全景图中高效的恢复三维结构

2019年，5G时代即将来临，哪些行业会崛起你察觉到了吗？

随着5G行业的爆发,VR/AR势必也会再次崛起，vr全景/ai人工智能依然是未来的方向，所以我们今天介绍 一些全景相关的一些算法知识.

什么是全景相机？

所谓“全景拍摄”就是将所有拍摄的多张图片拼成一张全景图片。它的基本拍摄原理是

搜索两张图片的边缘部分，并将成像效果最为接近的区域加以重合，以完成图片的自动拼接。有索尼的智能扫描全景拍摄功能、富士的360度移动全景拍摄功能等，只要你稳稳地端着DC“扫”一圈，它就自动将这些图片拼成一张全景图片。

全景摄影是利用相机将 360 度场景拍摄到的一组照片拼合成为一幅包含全部场景的图片，使用专用的发布软件在互联网上播放，并且使浏览者能够根据自己的意愿拖动鼠标来观看到场景的任何一处角落。使人有身临其境的感觉，就好像自己在现场漫游一样。

今天我们要讲的是Yang H, Zhang H. Efficient 3D Room Shape Recovery from a Single Panorama[C]// Computer Vision and Pattern Recognition. IEEE, 2016:5422-5430这篇论文。

输入：360°水平方向的全景室内图像（不需要180°垂直方向）。

输出：自动输出房间的三维结构（由线段和超像素贴片组成），无需手动交互。

算法流程示意图如下：

（a）是输入的室内全景图。它可以从互联网上下载或使用全景相机自己拍摄。

（b）从全景图中提取的线段。红色，绿色和蓝色不同的彩色线段表示线段属于不同的三维空间轴方向。

（c）超像素过度分割全景的结果。图中纯红色部分代表水平面，如地面或天花板;条纹红色区域表示垂直平面，例如墙壁。

（d）根据上述信息自动推断出与全景相对应的深度图。

（e）从线段（黑线）和超像素块重建的室内三维结构（两个不同的视角）。

算法的核心是构造约束图结构。 图的顶点由具有不同自由度的有向段和超像素组成，它们之间的几何关系形成约束图的边缘。 通过迭代优化约束图结构，可以推断出与全景相对应的深度图，然后根据深度图信息对线段和超像素表面进行空间重建，得到房间的三维结构。

效果

从视觉角度来看，该算法在简单的室内环境（如曼哈顿结构，较少的障碍物和明显的墙边界）中运行良好，如下所示：

但是，在一些复杂的室内环境中，很容易被室内物体误导。 例如，沙发的大面积遮挡了墙壁和地面之间的分界线。 例如，墙壁和地面的颜色接近边界线，例如室内墙壁的大墙。 挂画会被误认为是门外的场景。 部分恢复失败的示例如下所示：

作者提供了C ++代码。在配置为Intel Core i5 CPU（3.1 / 3.3 GHz）的计算机上，全景视图推断室内三维结构（不包括预处理步骤）需要1分钟。

包含源码、数据集、论文等资料：关注微信公众号：“图像算法”或者微信搜索账号imalg_cn关注公众号