0.前言
深度相机,双目相机主要用于避障、室内定位、视觉SLAM;
需要机载计算机运行ROS系统和对应相机、雷达等传感器的ROS驱动节点;
那么机载计算机需要多大的算力?如何选型?
1.借鉴的几个来源
- 阿木实验室
- ardupilot生态、文档
- csdn博客搜索
2.关于机载计算机
机载计算机的:
-
核心模组
CPU、GPU单元、但没有任何外设接口;
-
扩展载板、载板
NX/NANO扩展载板可以适配NVIDIAJetsonXavierNX、letson Nano核心模块;
用户可以根据需求选择不同算力的核心模组 (支持Xavier NX和Nano);
阿木实验室推出的载板、机载计算机:https://item.taobao.com/item.htm?spm=a1z10.5-c-s.w4002-22617251051.13.3aad2f65YNtALu&id=679702767419 -
完整的机载计算机:核心模组+载板+外壳+屏幕(非必须)
3.英伟达Jetson Modules系列机载计算机
-
不同系列模组的算力、参数对比:
-
可以在这选型和对比参数
https://developer.nvidia.com/embedded/jetson-modules
-
算力单位
https://blog.csdn.net/JustDoIt_201603/article/details/104821603 -
- TFLOPS (teraFLOPS) 等于每秒1万亿 (=10^12) 次的浮点运算;
-
- TOPS,(Tera Operations Per Second),1TOPS代表处理器每秒钟可进行一万亿次(10^12)操作;
4.ardupilot生态中的避障传感器
- Proximity Sensors 接近传感器,如雷达
- Rangefinders 距离传感器,如声呐,光流
- Realsense Depth Camera 3D相机,如双目相机、TOF相机、结构光相机
5.ardupilot生态中的相机避障方案
- ZED + TX1 + NO ROS
- D435i / D435 / Realsense其他型号深度相机 + 板载计算机 + NO ROS
Realsense深度相机提供的深度图像转换为与前方障碍物的距离;
Ardupilot支持DISTANCE_SENSOR和OBSTACLE_DISTANCE MAVLink消息,前者携带单个距离,后者携带一组距离;OBSTACLE_DISTANCE允许我们一次发送多达72个距离,因此将使用后者;
文档 / 代码:
https://ardupilot.org/copter/docs/common-realsense-depth-camera.html#install-supporting-packages
https://github.com/thien94/vision_to_mavros/blob/master/scripts/d4xx_to_mavlink.py
https://github.com/thien94/vision_to_mavros/tree/master/scripts - ros 方案
ROS for Object Avoidance
ROS distance sensor usage
6.室内导航/SLAM方案
6.1 RPLidarA2雷达 + 激光SLAM算法 + 板载计算机+ ROS
- 注意:RPLidar的其他型号的雷达也是可用的,如S1;
- https://ardupilot.org/dev/docs/ros-slam.html
- https://ardupilot.org/dev/docs/ros-cartographer-slam.html
6.2 T265相机 + 视觉SLAM算法 + 板载计算机 + ROS
- https://ardupilot.org/dev/docs/ros-vio-tracking-camera.html
- Integration of ArduPilot and VIO tracking camera (Part 1): Getting started with the Intel Realsense T265 on Rasberry Pi 3B
- Integration of ArduPilot and VIO tracking camera (Part 2): Complete installation and indoor non-GPS flights
- Integration of ArduPilot and VIO tracking camera (Part 3): Indoor autonomous flights and performance tests
- T265已经停产了!!!
- 由于T265停产,Intel® RealSense™ SDK 2.0 (v2.54.1) 在该版本中移除了对T265相机的支持,以后的版本也不会支持了。为了继续使用 T265 相机,最好千万不要升级 realsense 相关的 package,但是还有新装机的需求啊。经测试Intel® RealSense™ SDK 2.0 (v2.53.1) 能对 T265 正常支持,因此,本文主要是总结如何安装 v2.53.1 版本的 SDK,经过验证,整理了两种可行方法。
- 由于T265已经停产,官方的代替产品推荐是:D455或D435i,https://www.intelrealsense.com/message-to-customers/
6.3 T265相机 + 视觉SLAM算法 + 板载计算机 + NO ROS
https://ardupilot.org/copter/docs/common-vio-tracking-camera.html