unity摄像头实物识别_增强现实（AR）底层技术算法第五讲 户外复杂环境下的场景识别...

【AIRX】AIRX专注AI、ARVR、Unity、Unreal技术学习与交流平台，平台正在快速发展中！ 投稿、志愿者、讲师招聘进行时，我们期待您的加入～

早期的增强现实(AR)系统的应用通常局限在室内或户外小范围环境下，研究的对象多是单一或数量较少的场景。随着增强现实(AR)技术的发展其应用的范围和领域不断扩宽，越来越多的研究人员开始关注户外复杂的大范围、多目标环境。比如现在百度的DUMIX AR的视觉辅助高精定位识别(VPAS)，和视+Easy AR的稀疏和稠密空间地图的构建，还有众多厂商拥有自己核心算法库，这些厂商的SDK包含的注册匹配算法在户外大范围、多变环境下较高的注册精度，实时动态跟踪注册鲁棒性也较高。相较于室外，我们实验室团队正在研究室内环境下的增强现实(AR)室内导航就简单许多了。

本文将介绍简单介绍在户外大范围场景下移动手机增强现实系统识别注册的通用算法流程及存在的问题。通常移动增强现实系统将大场景拆分为若干个子场景以突破手机内存上的限制，但这就面临着如何实时知道当前摄像头拍摄的图像属于哪个子场景的问题，对于子场景数量众多的大场景来说，这就演变成了如何快速检索关键帧图像的问题。同时还有通用型。高效性、存储体积等方面的综合考虑。下面我将通过一篇早期比较经典的论文来讲解户外复杂场景下的识别跟踪注册。本篇文章是收录于IEEE(IWCMC 2013)关注公众号并后台回复AR论文1，即可获取。

这篇文章采用的是二进制特征描述符的分段索引的快速特征点检测 算法，该算法效率高，能保证实时检索的最佳的关键视频帧，不会因为子场景的数量(即关键帧对应的场景数量)的增加而增加；同时基于二进制的 检索算法占用内存较小，不过在现在手机硬件飞速发展的时代，内存已经不是那么重要了，现在的手机内存标配都是8G以上了，不过对于我们学习还是很有用的。

1、多目标物体环境下的场景识别识别算法框架

在移动终端进行户外多目标场景识别时候，不仅要考虑场景目标的目标数目和场景的结构复杂性，还要考虑移动端本身的处理和存储能力，比较考验手机cpu了，增强现实以前发展不起来很大一部分就是计算资源跟不上，一方面可以通过算法优化，一方面可以提升硬件设备的计算能力。

我们介绍一种基于移动端的快速场景识别的算法，主要包括下面几个步骤：

1、使用BRISK特征点检测算法提取图像特征和低字节的FREAK描述符对特征进行表述(FREAK算法我在第四讲上有介绍)，从而解决了特征检测时间长和特征描述符内存占用大的问题。(这里我得吐槽说一下 ，大家做AR开发的用第三方厂商的SDK的时候肯定会面临特征点检测时间长的问题，我之前用Google的ARCore的时候就出现过特征检测