年末将至,小编决定为大家奉上超级干货,答谢大家对ARinChina的关注和热爱。于是小编十分有幸联系上了Watchhhh SLAM的开发者浙大博士刘浩敏,并向他咨询了一些关于SLAM技术的问题。
小编了解到的SLAM (simultaneous localization and mapping)是即时定位与地图构建技术,目前使用的方向主要是智能机器人、无人驾驶汽车、无人机等智能产品上。
一开始,小编的问题是关于SLAM技术在AR行业的应用,跟在机器人上使用时有什么不同跟相同的地方。刘博士给的答案很详细,大概分为以下3点:
1)精度上,AR一般更关注于局部精度,要求恢复的相机运动避免出现漂移、抖动,这样叠加的虚拟物体才能看起来与现实场景真实地融合在一起;机器人一般更关注全局精度,需要恢复的整条运动轨迹误差累积不能太大,循环回路要能闭合,而在某个局部的漂移、 抖动等问题往往对机器人应用来说影响不大。
2)效率上,AR需要在有限的计算资源下实时求解,人眼的刷新率为24帧,所以AR的计算效率通常需要到达30帧以上;机器人本身运动就很慢,可以把帧率降低,所以对算法效率的要求相对较低。
3)配置上,AR对硬件的体积、功率、成本等问题比机器人更敏感,比如机器人上可以配置鱼眼、双目或深度摄像头、高性能CPU等硬件来降低SLAM的难度,而AR应用更倾向于采用更为高效、鲁邦的算法达到需求。
接下来小编的问题是关于SLAM技术能做什么?除了SLAM技术,还有什么技术能达到SLAM一样的效果?如果有的话AR行业为何选择SLAM的问题,刘博士给出了非常精细的解释。
SLAM技术解决的是设备实时定位问题。除了SLAM传统方法常见的有下面几种:
1)在场景中贴marker,通过识别marker在图像中的位置反向恢复相机三维运动。该方案缺点为,需要marker始终处于画面中才能进行定位,使用场景无法扩展至marker之外的区域。
2)事先布置场景,比如场景各处布置信号发射源,移动设备接收信号,通过信号强弱判断自身位置;或是相反的在场景各处布置信号接收器,接受移动设备发射的信号来定位设备位置。这类方法精度通常不会太高,而且需要事先布置场景,一般应用于在特定场景执行特定任务的机器人,不适用AR。
3)GPS结合贯导进行定位,只适用于室外大场景中的定位,且通常局部精度比较低,直接用于AR的话,会频繁出现虚拟物体跳跃和漂移的现象;而高精度的GPS和贯导目前还非常昂贵,成本在数十万人民币的量级。
这些传统的定位方案要应用于AR的话都有明显的局限,相比之下,SLAM无需事先布置场景或采用昂贵的设备,不用摆放marker,能够随时扩展AR使用场景,并且可以保证局部的定位精度,使虚拟物体在用户看来能被稳稳地摆在现实场景之中,因此目前是AR理想的解决方案。
通过刘博士的介绍小编知道了SLAM在AR行业的用途,但是目前来看,目前能看到AR行业中用到SLAM技术的应用大多数是用在家居方面的,对此刘博士解释道:“AR的成熟应用本身就不多,使用了SLAM的AR应用自然也少。实际上SLAM在AR行业的应用还是非常广泛的。只要是需要虚拟信息叠加到真实场景中的应用,都离不开实时定位(并不是一定要采用SLAM来实时定位,但SLAM是一个最理想的方案)。
家具展示是个例子,虚拟家具必须放在真实的房间里。又比如车载实景导航,导航信息要出现在真实的路面或建筑上。还有AR眼镜,比如magic leap能把youtube放到桌上,把邮件放在空中,以及玩各种与场景交互的AR游戏,从桌上拿枪,天花板上掉下敌人后站在地上等等,都需要实时定位眼镜在真实场景中的方位。
问到关于是否是目前的硬件性能限制了SLAM技术的应用时,刘博士也给了很详细的回答,他认为如今的摄像头、IMU等硬件设备已经足够廉价,其性能也足以应付实时定位的需求。限制SLAM的并不是获取信息的硬件设备还未“达标”,而是来单一的信息源本身存在其固有的局限性,无论硬件性能如何突破都很难完全解决。
比如,基于图像的SLAM依赖于场景特征的丰富程度,当面对一面完全纯色、 没有任何纹理或光影的白墙,人都很难判断自身的运动,即使图像质量再高也无济于事; 基于深度的SLAM,如果某一时刻只捕捉了单一平面的深度,那么恢复的运动就存在歧义; IMU捕获的数据存在偏移量,且该偏移量会因磁场、温度、运动等因素不断变化,所以单 靠IMU数据恢复的运动误差累积地非常快。
然而,不同信息源之间的特性往往能取长补短。比如,近年来机器人领域非常火的一个研究方向,是将结合图像和IMU数据做SLAM, 当特征足够丰富的时候用图像特征标定IMU的偏移量,当特征不足时由IMU获得设备运动。 Google的Project Tango就是采用这一方案。
总得来说,硬件能给SLAM带来的提升在于,如果通过硬件能够获取更为丰富的信息源,又有相应的软件算法将这些信息相互融合,取长补短,那么势必能非常显著地提升SLAM的精度和稳定性。”
对于国内的AR行业,刘博士认为目前主流的定位解决方案还是非常简单和传统的marker跟踪,缺乏核心竞争力。Watchhhh SLAM是国内首个自主开发的SLAM系统,也是自metaio和13th Lab相继被收购后,全球范围内屈指可数的可商用SLAM系统。
非常感谢刘博士于百忙中抽出时间接受采访,为大家解答SLAM技术。