开发物体识别桌、_【课程总结】AR系统开发“秘籍”大揭秘！

导读：AR技术飞速发展，被广泛应用于游戏、医疗、旅游、电商等行业。那么对于AR系统的整体设计和应用是如何操作的呢？商汤泰坦公开课第006期联合“SLAM技术及应用”暑期学校与研讨会共同推出“移动增强现实系统的设计与应用案例解析”&“AR应用开发”线上公开课。由浙江大学-商汤三维视觉联合实验室章国锋教授和商汤科技研究总监盛崇山对AR系统的设计和应用进行了整体的解读。

AR系统整体框架包括“输入数据—三维注册—虚实融合”三大部分。

第

1

则

-THE FIRST-

输入信息

输入的数据不同，处理的方式也会有很大的区别。目前，可输入的数据十分多样化，例如：

1. IMU 数据

   •Time stamp

   •Acceleration

   •Angular velocity

2. 图像数据、深度数据

   •Time stamp

   •Exposure time

   •RGB

   •Depth

3. 校正数据

   •Camera 校正参数 (Pinhole Model)

   •Projection: fx fy cx, cy

   •Distortion: k1, k2, k3, k4

4. IMU 校正参数

   •Bias, Scale, Misalignment

   •Noise, Bias noise

5. 外参

   •Rotation, Translation

   •Time offset

第

2

则

-THE SECOND-

三维注册与重建

三维注册与重建是AR系统的基础组件。

三维注册不仅包括恢复相机相对于场景的位姿，而且还包括对物体的识别和位姿恢复。前者一般采用SLAM技术，包含相机跟踪、地图构建和更新、回路检测和闭合、重定位等模块。

三维重建具体包含物体和场景的三维重建，对于实现高品质的AR效果来说非常重要。

关键词

SLAM

具体来说，SLAM技术中的