近期工作总结

时间

2018.7.2—2018.7.22

任务

在室内、外环境下，用视觉SLAM辅助激光SLAM在特殊情况下进行导航，同时能识别人等物体。
关键词：定位；建图；导航；目标检测（这个不属于SLAM的范畴）

完成的工作

1.给台式机装双系统
2.在台式机上配置ORB-SLAM、RGB-D SLAM、ROS、OpenCV等开发环境
3.安装图漾相机的ROS驱动
4.调研相机选型和视觉SLAM方案
5.用Kinect2跑通ORB-SLAM、RGB-D SLAM
6.使用Robiware、Pycharm、Python实现ROS消息的发布和订阅，文件读写，界面显示等。
7.调研ROS中消息同步的方法，处理多传感器融合问题
8.给 NVIDIA TX2刷机，安装CUDA等深度学习环境
9.图像标注软件的安装和使用

存在的问题

• rgbdslam无法订阅到图漾相机发布的指定话题，但是能订阅到某些话题，获取一帧图像后就卡住了，可能是launch文件有问题。
• 现在只能用相机跑通SLAM系统，还没保存地图，要求得到能用于导航的地图。
• 算法最终要部署到TX1上，是否兼容是一个问题，性能也是一个问题，可以在电脑上先建好图，然后TX1加载地图进行导航定位。

下一步计划

1.研究图漾相机发布的话题和rgbdslam订阅的话题，修改launch文件，用图漾相机跑通RGB-D SLAM。
2.安装RTAB-MAP，用图漾相机/Kinect2/interl RealSense R200跑通。
3.如果调试图漾相机花费时间过多，就选择相对较容易开发的Kinect2。
4.保存地图，生成栅格地图、代价地图，供导航使用。
5.以前用Faster-RCNN做过目标检测，现在的需求是判断电梯内人群的拥挤度，主要是这个拥挤度不好评判呀，不能单纯靠计数，5个胖子可能比10个瘦子占的空间还要大，极端情况下，人就堵在电梯口呢？所以可能还需要结合一下深度信息……

一点思考

相机选型

视觉SLAM可用的主流传感器有单目、双目、深度相机等。

• 单目视觉SLAM的尺度与真实尺度存在一个比例系数，仅靠单目无法确定尺度，必须结合其他传感器（比如IMU）才能确定尺度；
• 双目相机可通过计算视差获得深度信息，而且相比于单目有更高的精度，同时适用于室内、外环境，缺点是由于要计算视差，会带来更大的计算量；
• 深度相机可通过红外结构光或ToF原理直接获取深度信息，相比于双目相机计算量要小，而且能生成稠密的地图，缺点是受光照影响较大，很难在室外使用。

综上，如果在室内应用，建议使用深度相机；如果是在室外使用，建议使用双目相机。
在深度相机中，Kinect为微软出品，性能较好，开发资源较多；在双目相机中，Zed和intel RealSense的社区支持较好。

地图类型

不同的视觉SLAM方案会生成不同形式的地图，主要有稀疏地图、稠密地图、语义地图。
稀疏地图只能用来定位，稠密地图才能用来导航、避障，语义地图可用于交互。
因此，要想达到导航的目的，必须使用稠密地图。

视觉SLAM方案

1.ORB-SLAM2

可用深度相机生成稠密地图，但是还需要转化成Octomap地图才能导航。

2.RGBD-SLAM

可用深度相机生成稠密地图，而且可以直接保存成Octomap地图，然后再导航。

3.RTAB-MAP

可用深度相机生成点云地图和栅格地图，而且自带导航功能，以上两种方案只能保存地图，后续的加载地图和定位导航还需要其他工作。

4.gmapping

将深度相机的深度信息转化为激光雷达信息，然后用gmapping建图，用amcl定位，最后用navigation导航。

总结

激光SLAM的应用比较成熟，很多工具都是ROS为其设计的，而视觉SLAM研究历史较短，目前学术界主要关注定位与建图，而不太关心建的图是否能用来导航，因为这偏工程和应用。
在商业应用上，目前很少有能用纯视觉SLAM做导航的，速感科技依靠纯视觉SLAM的扫地机器人至今还未量产，百度开源的boteye视觉SLAM方案也只能做到寻迹导航，因为他们用双目惯性相机建的稀疏地图，还无法实现真正的导航。
对于地上无人车来说，二维地图就够用了，所以直接或间接的生成投影地图，具体还需要实现以上几种方案，选择效果好、实用的方案。