darknet_ros安装的以及在PX4无人机仿真平台的目标检测

3 篇文章 3 订阅
1 篇文章 0 订阅

darknet_ros的安装以及在PX4无人机仿真平台的目标检测

参考资料:
https://github.com/leggedrobotics/darknet_ros
https://gitee.com/robin_shaun/XTDrone
https://www.yuque.com/xtdrone/manual_cn/target_detection_tracking
https://blog.csdn.net/qq_42145185/article/details/105730256

无人机仿真平台的搭建以及目标识别与追踪用的肖昆老师的XTDrone项目,十分感谢,相关网页:https://gitee.com/robin_shaun/XTDrone,我这里只是对darknet_ros的安装以及在仿真无人机上的使用做了个总结。
如果有造成侵权请联系我。
如果觉得这篇文章对你有用,请仔细查看XTDrone的使用文档,会有很多的收获,再顺便在gitee和github上给XTDrone项目各点一个star吧,一定能从中受益很多。
我在b站也有流程演示的视频,要是有不懂的可以看一下:BV1rL4y1G7n5

一、安装ROS

请从官网下载:http://wiki.ros.org/Installation/Ubuntu安装时注意ROS与Ubuntu版本的对应,如果对gazebo版本有要求的话安装时请在执行(以18.04对应的melodilc为例) sudo apt-get install ros-melodic-desktop-full指令时改为 sudo apt-get install ros-melodic-desktop然后再安装gazebo

ros安装完成之后在主目录创建工作空间

mkdir -p ~/catkin_ws/src
cd ~/catkin_ws
catkin_make
source devel/setup.bash

二、安装OpenCV和boost

OpenCV下载官网:https://opencv.org/releases/
boost下载官网:https://www.boost.org/
ROS安装时已经安装了OpenCV 3.2,可以选择不装,如果想另外再安装请安装3.3以下的版本,版本过高的话可能在编译darknet_ros时会出现错误,这个问题后面也会提到。

三、安装usb_cam

要使用usb摄像头作为输入的话,需要使用ROS的usb_cam,其网址为https://github.com/bosch-ros-pkg/usb_cam。安装与否不影响后面无人机仿真目标识别与追踪的使用

下载usb_cam并配置环境

sudo apt-get install ros-melodic-camera-info-manager
sudo apt-get install ros-melodic-image-view
cd ~/catkin_ws/src
git clone https://github.com/bosch-ros-pkg/usb_cam.git
cd ..
catkin_make
source ~/catkin_ws/devel/setup.bash

编译usb_cam

cd src/usb_cam
mkdir build
cd build
cmake ..
make

测试一下usb摄像头
1.打开launch文件,根据摄像头编号对文件进行修改。一般笔记本自身的摄像头是video0,usb外接摄像头是video1。

cd ~/catkin_ws/src/usb_cam/launch
gedit usb_cam-test.launch

2.打开新的终端,运行roscore

roscore

3.运行测试

cd ~/catkin_ws/src/usb_cam/launch
roslaunch usb_cam usb_cam-test.launch

若成功显示图像,说明运行正确。可以使用ctrl+c中断程序。
运行时可能会出错需要多加一行代码

source /home/youruser/catkin_ws/devel/setup.bash
cd ~/catkin_ws/src/usb_cam/launch
roslaunch usb_cam usb_cam-test.launch

为了方便不用每次都设置环境变量,可以直接在barshc中修改

sudo gedit ~/.bashrc

在barshc中最下面加上

export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:~/catkin_ws/

重启barshc

source ~/.bashrc
echo $ROS_PACKAGE_PATH #若显示路径,则表示设置成功

四、darknet_ros下载安装

darknet_ros源码网页 :https://github.com/leggedrobotics/darknet_ros
在gitclone前请先设置SSH,否则无法顺利从github上下载源码

cd ~/catkin_ws/src
git clone --recursive git@github.com:leggedrobotics/darknet_ros.git
cd ../

如果出现这样的错误,说明没有设置好SSH key,SSH key设置教程:
https://blog.csdn.net/qq_45067735/article/details/108027310
在这里插入图片描述
由于下载太慢我这里提供了下载完的darknet_ros的压缩文件,下载完毕后在catkin_ws/src中解压提取即可:https://download.csdn.net/download/qq_45067735/12713492

编译darkne_ros

catkin_make -DCMAKE_BUILD_TYPE=Release

编译时可能会出现这样的错误
在这里插入图片描述
这是OpenCV的版本原因,我这里安装OpenCV 4.4出现这样的错误,安装Opencv 3.2后就没有这样的错误了,这也是我前面建议安装OpenCV 3.3版本以下的原因

运行darknet_ros
执行darknet_ros进行检测,在运行检测之前需要更改一下配置文件,使得darknet_ros订阅的话题与usb_cam发布的图片话题对应。
打开catkin_ws/src/darknet_ros/darknet_ros/config/ros.yaml文件,修改:

subscribers:
  camera_reading:
    topic: /camera/rgb/image_raw
    queue_size: 1

改成

subscribers:
  camera_reading:
    topic: /usb_cam/image_raw
    queue_size: 1

设置编写环境变量

cd ~/catkin_ws
source devel/setup.bash

启用YOLO

roslaunch darknet_ros darknet_ros.launch

同时打开另一个终端启用usb_cam

roslaunch usb_cam usb_cam-test.launch

运行时可能会出现这样的报错:在这里插入图片描述
这个问题困扰我很长时间,我也咨询了一些人,他们给了我一些说法和解决方案,有的成功有的不成功,考虑到每个人的原因可能不同,我这边还是都列举出来:
1、权重文件的问题。从官网下载权重文件可以解决。
2、darknet_ros代码下载的问题。从gitee上下载再运行可以解决。
3、ROS的问题。我尝试了前两种方法发现没有解决,后来发现可能是ROS的问题,我当时ROS是用的国内安装源下载运行时出现了这个问题,后来从官网下载之后运行就没有问题了。
4、ubuntu系统的问题,建议换一下系统的版本,比如18.04.2换成18.04.5试试

成功运行后会出现画面:
在这里插入图片描述
虽然这里显示的是YOLO V3,但是实际上是YOLOv2-tiny,检测结果有些问题,我们需要把预训练集换成YOLO v3的来检测,更换如下:找到config文件可以看到一些数据集,我们需要修改launch文件来启用YOLOv3

打开launch文件
在这里插入图片描述
修改 darknet_ros.launch

arg name="network_param_file"         default="$(find darknet_ros)/config/yolov2-tiny.yaml"/
 
改为
 
arg name="network_param_file"         default="$(find darknet_ros)/config/yolov3.yaml"/

如图:
在这里插入图片描述
重新启动YOLO v3

roslaunch darknet_ros darknet_ros.launch

在这里插入图片描述
不用英伟达显卡的话fps比较低在0.1左右,为了能达到实时需要修改darknet的makefile,在此之前请先安装英伟达显卡驱动已经CUDA、CUDNN。

这里特别提醒一下,如果显卡是30显卡的要安装,要安装11.0以上的cuda和相对应的cudnn,因为30显卡的架构发生了改变,11.0以下版本的cuda不再适用,安装11.0以上的cuda应该就能解决问题。否则可能会遇到报错比如:CUDA Error: invalid device symbol

在/catkin_ws/src/darknet_ros/darknet中找到Makefile文件。
根据需求自己做出修改:
GPU=1 使用CUDA和GPU(CUDA默认路径为/usr/local/cuda)
CUDNN=1使用CUDNN v5-v7加速网络(CUDNN默认路径/usr/local/cudnn)
OPENCV=1 使用OpenCV 4.x/3.x/2.4.x,运行检测视频和摄像机
OPENMP=1 使用OpenMP利用多CPU加速
DEBUG=1 编译调试版本

完成修改之后需要到工作空间下进行编译:

cd ~/catkin_ws
catkin_make

再启动darknet_ros,可以看到fps已经提高了很多

五、无人机仿真平台的基础搭建

可以参照我之前的博客:https://blog.csdn.net/qq_45067735/article/details/107303796

六、无人机仿真平台的目标检测与追踪

这里要说明一下:XTdrone仿真中有darknet_ros,下面代码是把XTdrone里的darknet_ros复制到catkin_ws中,上面编译的darknet_ros会被覆盖掉。XTdrone里的darknet_ros是XTdrone作者修改过的可以运行Yolov4,我之前仿真的时候还没有这个修改。这可能会导致在无人机仿真运行darknet_ros的时候可能会出现问题,同时为了到时候节省时间,请把上文的权重文件复制备份省的编译的时候要再度下载耗时间。若是有问题请到XTdrone官网(https://www.yuque.com/xtdrone/manual_cn/target_detection_tracking)去看看有没有解决方法

再度编译darknet_ros

cp -r ~/XTDrone/sensing/object_detection_and_tracking/ ~/catkin_ws/src/
cd ~/catkin_ws
catkin_make

启用YOLO

source devel/setup.bash 
roslaunch darknet_ros target_track.launch

此时先是加载网络参数,然后等待图像到来
在这里插入图片描述
然后启动PX4室外场景仿真,此时YOLO收到了图像,开始进行目标检测

cd ~/PX4_Firmware
roslaunch px4 outdoor1.launch

一开始会看到水,是因为摄像头有一部分浸没在地面,而地面以下是海洋。这个场景比较大加载出来之后把场景向右进行拖动,红色箭头指的是无人机的初始位置。
在这里插入图片描述
建立通信

cd ~/XTDrone/communication
python multirotor_communication.py typhoon_h480 0

控制无人机起飞

cd ~/XTDrone/control
python multirotor_keyboard_control.py typhoon_h480 1 vel

启用云台控制(这个脚本一定要开,否则无法追踪)

cd ~/XTDrone/sensing/gimbal
python run.py typhoon_h480 0

您可以选择在原地等待行人走过来,也可以主动控制飞机去找行人。等目标出现后,先关闭multirotor_keyboard_control.py(不然两个程序的指令会冲突),然后启动(注意该脚本中的sys.path.append(‘/home/robin/catkin_ws/devel/lib/python2.7/dist-packages’)路径要对应修改)

cd ~/XTDrone/control
python yolo_human_tracking.py typhoon_h480 0

然后飞机会自动跟踪检测到的行人。
有的时候草坪的贴图会显示不出来,但不影响仿真进行,只是不太美观。

参考资料:
https://github.com/leggedrobotics/darknet_ros
https://gitee.com/robin_shaun/XTDrone
https://www.yuque.com/xtdrone/manual_cn/target_detection_tracking
https://blog.csdn.net/qq_42145185/article/details/105730256

评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值