基于yolo和moveit的图像识别机械臂目标抓取搬移

一、基本介绍

该项目在ROS/Gazebo环境下仿真实现了一个机械臂视觉抓取实验。项目使用ar3机械臂进行仿真实验，Yolo-FastestV2图像识别算法进行推理，moveit实现机械臂控制。并最终实现根据用户输入，自动抓取对应模型并放置与特定位置的效果。

二、实现效果

【基于yolo和moveit的图像识别机械臂目标抓取搬移】

三、机械臂模型

仿真使用机械臂为开源ar3机械臂，通过moveit!实现机械臂的驱动。机械臂未添加末端执行器，在仿真环境中使用软件模拟吸盘抓取物体。在末端执行器的位置上添加RGB相机和激光雷达，用于目标识别和抓取时的测距。

四、仿真场景

在Gazebo仿真环境中进行仿真实验，机械臂根据用户输入抓取对应的数字正方体（1-9），并放置到用户输入的位置上（黑色区域，1-6）。机械臂末端的紫色扫描状线条为激光雷达在Gazebo中的显示，程序中可以设置关闭该显示。

五、程序实现

rqt_graph如下:

/detect节点为yolo图像识别算法，使用Yolo-FastestV2算法实现，对从Gazebo中获取的摄像头图像进行推理后，将推理结果发布给/controller节点。
/controller节点为程序的核心控制节点，负责设置对moveit功能包发送机械臂末端执行器在世界坐标系下的位姿信息，调用moveit对位姿进行逆运动学解算，并控制机械臂运动。该节点获取用户的输入信息和图像识别结果，根据用户输入的信息抓取对应的目标，并将需要抓取的目标信息发送给/grasp_obj节点。
/grasp_obj节点实现模拟吸盘对物体抓取效果，通过/controller节点发送的抓取目标信息与Gazebo设置模型状态话题，实现抓取效果的模拟。（P.S.由于Gazebo抓取插件存在的诸多问题，项目中选择了直接设置某个模型位置以模拟抓取效果的方式，该方法不是一个从根本上解决办法的方式，但是是一个能够快速实现效果的方法。
/get_input节点为用户交互的节点，该节点启动了一个系统终端与用户交互，获取用户输入的信息并发送给/controller节点。

六、项目教程和复刻

项目地址：
gitee
github
项目开源了图像识别相关的源码和数据集，并提供了其他核心代码的可执行文件，使用github仓库中的文档可以复现程序效果。
获取完整的注释源码实现项目调整和二次开发，请关注微信公众号私信获取。