opencv sgbm 三维重建_三维重建 3D reconstruction 有哪些实用算法？

公众号：将门创投 (thejiangmen)

为了帮助人类回溯城市发展的历史，谷歌研究人员开发了一套基于浏览器的rǝ平台。它可根据历史地图和老照片，重建城市旧景的三维模型，让我们一眼洞穿城市的百年发展。

rǝ平台共由三部分构成，可在谷歌地图和K8s上运行。它通过众包的方式收集、清洗数据，存储生成的地图，并利用3D重建模型来实现立体的三维地图结果。系统旨在帮助人们盘点历史发展数据、构建城市发展的历史年轮，为研究人员、政策制定者、教育者甚至是单纯想怀旧的人们提供一个高效可靠的工具和平台。

From: Google; 编译: T.R

基于rǝ平台实现，所有的三维模型都由老照片和老地图数据构建。拖动时间条，可以看到曼哈顿切尔西街区1890~1970年的变化。

“老城重现术”的技术原理：历史地图与老照片的众包平台

由于缺乏历史数据，且缺少丰富的元数据来帮助重建历史图像，因此重建旧城是一件充满挑战的事情。为了解决这一问题，rǝ的地图模块构建了众包的开源框架，人们可依据地图服务器中的时间维度构建地图数据，从而上传历史地图的扫描数据，并标记其对应的地理位置信息。最后，将地图矢量化，即可将其保存到地图服务器中。上图展示了三维重建旧城的整个流程，包括地图的地理信息校正、矢量化，以及图像的三维检测与重建。

rǝ中的整套城市历史结构，构建于Warper的web应用程序。用户先利用Warper的web程序上传历史地图或者老照片，同时在历史地图上寻找控制点或者对应点来实现地理信息的对应校正。

随后，使用名为Editor的web应用载入校正后的地图作为底图，标注地理特征(包括道路、建筑名称等等)，并存储到开源地图OSM中，随后在Server应用中将其转换为矢量格式。

最后，三维地图渲染器Kartta将这些丰富的时空信息进行可视化，整套开源系统就能完成从老地图、老照片到完整时空变迁呈现的全流程。Warper和Editor两个应用协同处理地图，先将老地图与底图锚定，然后进行地理信息标注，最后实现矢量化。

3D可视化：轮廓与细节的打磨

三维模块的作用在于，利用老照片所呈现的建筑旧有的三维结构，将这些建筑正确地放于地图中正确的位置上，并在对应的时间点渲染出历史建筑。三维重建流程，将图像和地图匹配，先识别出图像中建筑的结构，然后重建虚拟的三维结果。

rǝ通过众包或检测算法来标注地图上各建筑地基的三维结构，这些三维结构的高度由图像中楼层的数量计算得到。

但是，利用rǝ重建旧城，并不能直接将建筑实体中的所有细节重建出来，而是分步重建。基于识别、重建的流程，它首先识别窗台、门框等结构，而后利用数据库中的样本进行渲染，完善其他细节。

完成旧城重建的关键在于构建深度学习模型：首先，基于FRCNN的目标检测模型对目标建筑的区域进行检测，得到每种结构的边界框；

随后，基于DeepLab的语义分割模型进行逐像素的语义标注；

最后，利用正则化的神经网络模型保证每个建筑立面上的窗户分布均匀，并保证周围建筑的连续性，从而生成更为可靠的结果。

下图是曼哈顿切尔西街区旧城重建的部分三维结果。如图所示，街道较为完整，两边楼层的结构较为完善，楼梯和窗台等细节也已经生成。在此基础上，只需要贴图，就可以实现更为逼真的虚拟城市效果了！曼哈顿切尔西街区的三维重建结果

这项技术从新角度解决了城市历史数据不足的问题，也为我们提供了很好的场景漫游体验。如果将此应用于快速发展的城市，也许会产生新的化学反应！

复制以下链接至浏览器快来试试“老城重建术”吧！http://re.city/

re：

-The End-

戳右上角【+关注】关注我门↗

如果喜欢，点个【▲赞同】分享给你的小伙伴吧~笔芯❤