3D 物体跟踪

EasyAR 3D 物体跟踪 — EasyAR Sense 4.6.1.10366-981ec3f3e 文档

Camereon Model Tracker

Real-time 6-DOF pose tracking of rigid objects based on CAD models and monocular images

项目简介

理论背景

  本算法用于实时计算三维物体相对于单目相机的六自由度位姿（平移+旋转），可用于增强现实、机器人抓取、目标跟踪等领域。与德国的VisionLib 和 PTC的Vuforia Model Target模块属于同类型技术。其主要原理为：利用物体的CAD模型提取三维边缘特征，在单目相机获取的RGB图像中提取二维边缘特征，通过搜寻匹配建立三维特征与二维特征之间的对应关系，进而求解物体位姿。

主要特性

• 只需要提供目标物体的CAD模型，无需预先训练
• 快速稳定的实时位姿跟踪，可在主流移动设备上达到60FPS
• 跟踪过程中特征自动提取更新
• 对复杂背景、局部遮挡、快速运动具有较好的鲁棒性
• 跟踪失败时具备一定的自恢复能力
• 与SLAM融合，提高位姿稳定性和自恢复能力
• 跨平台支持

演示视频

  DEMO

适用场景

  基于上述技术原理，本算法主要适用（但不限于）原生具备CAD模型的弱纹理场景，如工业领域。同时，鉴于其依赖边缘特征，物体的几何结构和边缘数量会对跟踪效果产生一定影响，因此在模型和参数选择上应遵循一些建议参考：VisionLib参考 & Vuforia参考。