参加了奥比中光公司的3D和人工智能前沿论坛,其中对V-SLAM技术及应用分享主题和主要内容进行了整理,有PPT可以分享,可联系我。yangliwei12@sina.com
一、功能
实时定位和环境感知
二、挑战
Ø 精度和稳定性
ü 动态变化
ü 视觉特征匹配不准
ü 优化计算不稳定
Ø 实时性
ü 场景规模大
ü 计算维度高
ü 低功耗设备计算能力有限
三、模型
Ø 多视频输入,实时视频
Ø 高效的运动恢复结构
Ø (三维先验)-视觉同时定位于地图构建(VSLAM)
Ø 时空一致性深度恢复于重建
Ø 移动定位与虚拟融合引擎
四、传感器
Ø 激光雷达或深度传感器
Ø 摄像头:单目/双目/多目等
Ø 惯性传感器(IMU,陀螺仪、加速度计)
五、运行结果
设备根据传感器的信息
计算自身位置(在空间中的位置和朝向)
构建环境地图(稀疏或者稠密的三维云点)
六、系统框架
输入传感数据,前台线程处理,实时恢复每个时刻的位姿;输出设备的实时位姿,三维点云。
后台线程,进行全局优化,减少误差累积,场景回路检测。
七、基本原理:多视图几何
八、关键思路:
Ø 稳定求解
ü 约束的正确性;
ü 约束的充分性:
Ø 高效求解
ü 从粗到细的求解策略
ü 增量式计算
九、动态场景SLAM的主要问题
Ø 多个相同,相似物体的换位;
Ø 特征点数量过多
十、Keyframe-based SLAM vs Filtering-based SLAM
Ø 优点:
ü 精度高
ü 效率高
ü 扩展性好
Ø 缺点
ü 对强旋转敏感
Ø 共同的挑战
ü 快速运动
ü 运动模糊
ü 特征不够丰富
十一、Visual-inertial SLAM
Ø 使用IMU数据提高鲁棒性
ü 基于滤波的方法:MSCKF,SLAM in Project Tango,ARCore,ARkit
ü 基于非线性优化的方法:OKVIS,VINS
Ø 没有真实IMU数据的情况的处理
十二、RKSLAM系统框架
Ø 基于多单应性矩阵的跟踪
Ø 基于滑动窗口的姿态优化
十三、RKD-SLAM系统框架
Ø 快速鲁棒性的基于RGB-D的跟踪方法
Ø 快速的增量集束调整算法
Ø 高效的基于关键帧的深度表达和融合方法
十四、应用
Ø 视频分割与编辑
Ø 增强现实
Ø 基于RGB-D惯性SLAM的AR测量
Ø 遮挡处理