通过realsense,yolov8实现实时目标检测

配置

ubuntu 20.04

ros noetic

realsense d435i

参考文章：

Ubuntu 20.04 配置 Realsense_realsense ubuntu-CSDN博客

Ubuntu配置Yolov8环境并训练自己的数据集 + ROS实时运行_ubuntu yolov8-CSDN博客

一.配置realsense

根据上述第一篇文章，安装好realsense驱动和realsense-ros插件，这里的realsense-ros插件推荐使用直接方式安装。

通过

roslaunch realsense2_camera rs_camera.launch

启动realsense,判断realsense是否已经配置成功。

通过使用rostopic，我们可以发现里面有类似

/camera/color/camera_info
/camera/color/image_raw
/camera/color/metadata
/camera/depth/camera_info
/camera/depth/image_rect_raw
/camera/depth/metadata
/camera/extrinsics/depth_to_color
/camera/motion_module/parameter_descriptions

这样的话题，可以使用rviz查看话题来判断realsense是否有传回数据。

二.配置yolov8

Ubuntu配置深度学习环境（TensorFlow和PyTorch）_ubuntu tensorflow-CSDN博客 

先根据这篇文章配置anaconda和cuda。

根据参考文章的第二篇配置好anaconda环境，conda install不能下载pytorch的话，就使用pip下载，对应在pytorch官网里都有,我这里使用的是这个指令

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2

其他的直接下载就行。

最后按照文章里的，下载并配额ultralytics_ros，将

tracker.launch

 里面对应的参数更改为：

<arg name="input_topic" default="/camera/color/image_raw>
<arg name="device" default="0"/>

即realsense发布的话题，最后使用

roslaunch ultralytics_ros tracker.launch

启动yolo,如果模型下载不下来，可以去

https://github.com/ultralytics/assets/releases

下载对应的模型，并保存在model文件夹中,最后在rviz的中，使用image接受yolo_image话题即可。