滴滴AR实景导航背后的技术

桔妹导读：机场、商场、火车站等大型室内场所内GPS信号不稳定、室内面积大、路线复杂、用户判断方向难等问题，给在大型场所内发单的乘客找上车点带来了很大的挑战，用户急需一种操作简单、交互友好的引导功能。本文讲述了使用三维重建技术、传感器计算技术和增强现实(AR)技术所开发的滴滴AR实景导航产品，并对开发过程中遇到的难点、挑战和解决思路展开介绍。

相信很多人都有过这样的经历：来到一个自己不熟悉的场景，特别是在一些GPS信号不准确的室内场所，很难找到建筑物内部的一些特定地点。本文将以帮助用户在大型机场等场所中快速找到上车点为出发点，介绍滴滴AR实景导航产品研发过程中的挑战和关键技术。

1. 

应用背景

我们在用户调研中发现，在一些大型的机场、商场、火车站内部，滴滴乘客在下单成功之后，往往需要更多的时间才能找到上车点，其主要原因是在这些大型的室内场所中，GPS信号不准确，而这些建筑往往面积很大、内部路线复杂，当乘客对场景不熟悉时，找到上车点存在很大的困难。为了解决这个问题，地图团队提出了“图文引导”的方式来帮助用户，通过特定场景的图片和文字的方式相结合来引导用户找到上车点。与此同时，我们也在持续探索是否有更加直观、易理解的方式来帮助用户，受到增强现实(AR)技术在游戏中应用的启发，我们提出了使用AR的方式来帮助用户找到上车点，最终开发出了滴滴AR实景导航产品。

当乘客在支持AR导航的场站，使用滴滴出行App选择推荐上车点发单成功后，可以通过产品界面中的AR按钮进入导航界面，并按指引操作，体验在AR元素指引下到达上车点。如下图所示。

郑州机场

2. 

问题分析 

想要给用户提供一个良好的导航产品，需要解决几个关键问题：第一，场景所在的地图是怎么样的；第二，如何确定用户的位置；第三，如何使用更加直观的方式引导用户走到目的地。这些问题，在通常的室外场景来看，可能都不是"问题"，因为可以直接使用现有的地图、GPS定位、规划路线和GPS实时位置引导到达目的地。但是这些能力在室内场景下，却变得很难。具体原因包括：在室内场景中，GPS信号受到建筑物遮挡往往定位不准确，而现有的Wi-Fi、基站等定位技术也因场景中基础设施情况的不同而表现出精度差异很大；同时，与室外相比，室内场景结构复杂度高、判断方向难，给用户引导也带来很大的挑战。

 

为了解决上述问题，给用户提供更加友好的室内导航服务，我们推出了滴滴AR实景导航产品，其主要方案是采用低成本的视觉定位技术来提升用户的定位精度，并结合增强现实技术来将引导信息显示到用户手机上，给用户提供所见即所得的交互体验。

3. 

技术挑战 

要想实现一个理想的AR导航系统，我们调研了很多技术方案，最终选择了基于视觉的三维重建技术来解决地图构建和路径计算的问题、视觉定位技术来提供更高精度的定位能力以及传感器位置推算与渲染技术来实现更加精确的AR交互显示。虽然上述技术在学术研究领域已经有了很多年的研究，并产出了一些相对成熟的方案，但是在实施过程中，也遇到了很多挑战：

1、在三维重建方面

基于视觉的三维重建技术依赖相机拍摄到的场景图像进行三维结构恢复，一般应用于办公室、公寓等几百平米的场景内。在机场、火车站、商场等超过几万平米的大型场景下，会存在人群密集、重复纹理多、光照变化大、场景空旷、狭长通道等不利于视觉重建的因素，这种超大现实室内场景三维重建是业界难题。

 

2、在视觉定位方面

室内环境复杂多样，室内空间布局、拓扑易受人为的影响，导致声、光、电等环境容易发生变化，对于以特征匹配为基本原理的定位方法，定位结果将受到较大影响。机场、火车站、商场内大量重复出现的指示牌、广告牌都极易产生误匹配，影响定位的精度。

 

3、在传感器位置推算方面

由于传感器噪声的存在，使得基于惯性传感器的位置推算存在累积误差。当长时间使用时，导致导航路线偏离正