EasyAR 3D 物体跟踪 — EasyAR Sense 4.6.1.10366-981ec3f3e 文档
Camereon Model Tracker
Real-time 6-DOF pose tracking of rigid objects based on CAD models and monocular images
项目简介
理论背景
本算法用于实时计算三维物体相对于单目相机的六自由度位姿(平移+旋转),可用于增强现实、机器人抓取、目标跟踪等领域。与德国的VisionLib 和 PTC的Vuforia Model Target模块属于同类型技术。其主要原理为:利用物体的CAD模型提取三维边缘特征,在单目相机获取的RGB图像中提取二维边缘特征,通过搜寻匹配建立三维特征与二维特征之间的对应关系,进而求解物体位姿。
主要特性
- 只需要提供目标物体的CAD模型,无需预先训练
- 快速稳定的实时位姿跟踪,可在主流移动设备上达到60FPS
- 跟踪过程中特征自动提取更新
- 对复杂背景、局部遮挡、快速运动具有较好的鲁棒性
- 跟踪失败时具备一定的自恢复能力
- 与SLAM融合,提高位姿稳定性和自恢复能力
- 跨平台支持
演示视频
适用场景
基于上述技术原理,本算法主要适用(但不限于)原生具备CAD模型的弱纹理场景,如工业领域。同时,鉴于其依赖边缘特征,物体的几何结构和边缘数量会对跟踪效果产生一定影响,因此在模型和参数选择上应遵循一些建议参考:VisionLib参考 & Vuforia参考。