精度厘米级，高效低成本的室内外精准定位和AR导航

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

自1967年卫星导航技术开放民用以来，经过50多年发展，导航定位已广泛应用于交通物流、地理信息、高精度测量等多种行业中，提升了现代社会的运营效率，也为个人生活和出行都带来巨大便利。

不过，尽管导航定位技术在室外场景中已非常普及，室内导航应用却一直未取得很好发展。

一方面由于卫星信号的衰减，卫星导航定位在室内几乎毫无用武之地。

另一方面，尽管基于蓝牙信标定位、Wi-Fi信号等专用设备的解决方案在一定程度上可以辅助室内导航定位，但却部署和维护成本高昂，不具备大规模推广的条件。

那么，有没有一种易实现、低成本、易扩展的室内导航解决思路？

以更低成本、更易普及的AI视觉技术为核心，商汤科技SenseMARS火星混合现实平台，能以高效低成本的方式实现室内外精准定位和AR导航。

▎基于视觉高精定位的AR导航

室内导航的难点在哪里？

展览馆、博物馆、商场、交通枢纽等大型室内场景环境复杂，规模巨大，并存在很多无纹理空间区域和视觉歧义区域，地图数据的采集、制作及表达是一大难点。

同时，伴随光照、视点变化，用户如何精准快速地实现重定位也是一项挑战。

无纹理空间区域和视觉歧义区域

商汤SenseMARS火星混合现实平台由浙江大学-商汤科技三维视觉联合实验室与商汤产品团队联合打造，具备专业级高精度三维数字化地图构建、跨平台和终端的空间感知计算、全场域厘米级的端云协同定位等空间定位和构建能力，并可支持Android/iOS/Web/小程序等系统平台，以及手机、平板电脑、AR/MR眼镜等多种终端设备，从而实现室内、室外等不同场景的AR/MR特效、导航和导览等功能。

对于定位导航应用来说，首先需要构建高精度三维数字化地图（具体又可以分为稀疏点云地图构建和稠密三维几何构建），然后基于视觉重定位和SLAM技术可以实现连续的精准跟踪定位。

让机器看懂场景和环境

稀疏点云地图构建采用运动恢复结构（Structure from Motion，简称SfM）技术。

利用离线采集的视频或图片提取场景中的视觉特征，恢复图片的相机位姿和场景的稀疏三维点云，视觉特征和三维点云主要用于视觉重定位，而相机位姿可用来做进一步的稠密三维几何构建。

稀疏点云地图

稠密三维点云

以采集的视频或图片以及SfM恢复的相机位姿为输入，经过稠密深度估计、深度融合、网格构建和纹理贴图，最终输出场景的精细化稠密点云和带纹理的三维网格模型，这就是稠密三维几何构建。

得益于商汤在原创技术研发上的产学研优势，浙江大学-商汤三维视觉联合实验室研究团队经过两年多时间的技术攻关和打磨，提出基于单目/多目/全景相机、惯性测量单元、GPS等多源数据的采集方案和多源数据融合建图算法，实现了高效稳定的地图数据采集、重建和更新。

2万平米场景一般可在1小时内完成数据采集，6个小时左右完成三维重建和纹理贴图（单节点服务器上），重建精度可达厘米级。

稠密三维几何

重建的高精度三维网格可以用来正确处理虚拟物体和真实场景的遮挡以及碰撞关系，实现具有高度真实感的增强现实效果。

大规模3D地图重建，SenseMARS生成的

50万平方米杭州钱江世纪城园区地图

高精度三维数字化模型和纹理贴图，

SenseMARS生成的变压器三维模型

让机器输出准确匹配场景

有了地图数据之后，用户如何透过终端将导航指示箭头等虚拟内容无缝融合在现实场景中？

关键就在于实时、准确地获取用户的相机位姿，由视觉重定位和SLAM一起来实现。

视觉重定位以用户拍摄图像为输入，将图像中的特征与地图数据中的特征进行匹配，获取图像特征点和地图三维点的2D-3D对应关系，并计算图像相机位姿，在SLAM过程中帮助进行累积误差的矫正。

SenseMARS视觉定位技术在商超、展馆等典型室内场景成功率高于95%，结合SLAM 技术实现连续稳定的位姿跟踪，同时拓展地图未覆盖到的区域。

SLAM技术利用相机、IMU等常见的传感器信息可以实时计算出当前设备的6DoF位姿，保证图像上AR效果与真实环境的一致性、稳定性及贴合性。

再借助离线高精度地图和高精定位结果，就可以保证在大尺度场景下长时间的高精定位和跟踪。

此外，针对目前APP方案比较重且SLAM算法的机型覆盖率不足的问题，商汤同时提供了轻量级的Web SLAM能力，能够在H5和小程序中实时运行。

用户无需安装App只需简单扫描二维码，即可体验完整的室内外定位和AR导航导览能力。

▎内容增强，让导航更直观和有趣味

基于以上这些技术，商汤SenseMARS平台可以支撑多种实际复杂场景中的高精度增强/混合现实需求。

在GPS信号难以覆盖的区域，让用户可通过图像或视频实时准确地获取自身位置。

结合商汤SLAM技术还能以增强/混合现实的方式获取场景的额外信息如导航、导览、商家介绍等基于位置的内容增强，切身感受AR与生活场景的巧妙融合。

本文仅做学术分享，如有侵权，请联系删文。

下载1

在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~