Autoware1.14-摄像头、激光雷达感知融合

实现目标： 利用摄像头目标检测结果vision_darknet_yolo3（人、车）、利用激光雷达获得目标的几何信息lidar_euclidean_cluster_detect（大小、距离）、利用感知融合模块融合摄像头和激光雷达信息range_vision_fusion，并在三维地图中可视化。

效果展示：

激光雷达-摄像头感知融合展示

数据准备： ROSBAG数据包、激光雷达-摄像头联合矫正文件 提取码：1234
操作步骤：

1. 摄像头的视觉检测是基于YOLO-V3，在开始前请确定已下载好yolo3的权重文件，并保证autoware中的vision_darknet_yolo3模块可以正常使用。部署方法可参照Autoware1.14-摄像头目标检测YOLO-V3

2. 加载数据包。数据包内只包含/point_raw 和/image_raw 两个话题。点击Play后，点击Pause暂停。

3. 加载激光雷达-摄像头联合矫正文件（相机外参）。点击Autoware runtime manager 中Sensing选项卡内的Calibration Publisher。在Ref处选择下载的激光雷达-摄像头联合矫正文件，并勾选其他选项，如图所示。
   

4. 打开Rviz。添加图像界面，左上角Panels界面 > Add new Panel > imageViewerPlugin，然后在image Topic处选择/image_raw
   

5. 在rviz中，将Global Options中的Fixed Frame选择至velodyne（若选项卡中没有则直接手动输入），此时可出现点云图
   

6. 开启YOLO。在Autoware runtime manager 的 Computing 选项卡中找到vision_darknet_yolo3,在imageViewerPlugin中Object Rect Topic选择/detection/image_detector/objects,如图
   

7. 开启激光雷达欧式聚类检测。在Autoware runtime manager 的 Computing 选项卡中找到lidar_euclidean_cluster_detect配置界面如图
   

8. 开启融合模块。在Autoware runtime manager 的 Computing 选项卡中找到 range_vision_fusion,配置界面如图，detected_objects_range选择激光雷达目标检测的话题，detected_objects_vision选择摄像头目标检测的话题
   

9. 返回rviz，在Dispaly左下角Add添加融合后的话题。在By topic中找到/detection/fusion_tools/objects_markers/MarkerArray
   

10. 不出意外，在RVIZ中即可看到融合后的目标。
    

其中，有蓝色立方体框住的是感知融合后的目标，带有点云团的是激光雷达欧式聚类出的未融合的目标。

12. 欢迎点赞、收藏👌