【软件安装11】抓取姿态检测 Grasp Pose Detection (GPD) 与 gpd_ros 安装Ubuntu18.04

已于 2024-06-13 11:26:14 修改
阅读量1k 收藏 14
点赞数 17
分类专栏： 软件安装 文章标签： 经验分享
于 2024-06-12 10:18:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_38792591/article/details/139614932
版权

文章目录

 
 

抓取姿态检测(GPD)是用于在3D点云中检测2指机器人手(例如，平行颚夹)的6-DOF抓取姿态(3-DOF位置和3-DOF方向)的包。GPD将点云作为输入，并产生可行抓取的姿态估计作为输出。GPD的主要优势是:

  • 适用于新颖的对象(检测不需要CAD模型)，
  • 在密集杂乱的环境中工作，并且
  • 输出6自由度抓取姿态(不仅仅是自上而下的抓取)。

GPD由两个主要步骤组成:对大量抓取候选对象进行采样，并将这些候选对象分类为可行抓取对象或不可行抓取对象。

安装过程中的参考博文：
1、ROS kinetic 升级 PCL1.9.0 以安装gpd库和gpd_ros
2、ROS 包封装 GPD【使用方法】
 

一、GPD 教程

1.1、依赖要求

在这里插入图片描述
可以参考之前的博文： 【软件安装9】OpenCV多版本安装Ubuntu18.04
                                        与 【软件安装10】PCL多版本安装Ubuntu18.04 进行提前安装对应的依赖版本。

 
 

1.2、安装GPD


// clone 如下仓库
git clone https://github.com/atenpas/gpd

cd gpd
mkdir build && cd build
cmake ..
make -j

// 您可以选择使用sudo make install安装GPD，以便它可以作为共享库被其他项目使用。
// 如果构建包不起作用，请尝试修改CMakeLists.txt文件中的编译器标志CMAKE_CXX_FLAGS。

 
 

1.3、使用GPD

 

1.3.1 为点云文件生成抓取

在点云文件（PCD或PLY）上运行GPD


// 在 该路径下 /home/hzx/Videos/zhihu_ws/ws_moveit/src/robot_sim/gpd/build 执行指令
./detect_grasps ../cfg/eigen_params.cfg ../tutorials/krylon.pcd

在这里插入图片描述
 

会依次输出类似于下面的屏幕截图【截图均为PCL的查看器】，该窗口是PCL查看器。您可以按【q】关闭窗口，按【h】查看其他命令列表。：

执行指令后，
首先出现标题为 Normals 的查看器1；
鼠标点击选中该查看器1，按键q，会出现标题为 Grasp candidates 的查看器2；
再次鼠标点击两个查看器中的任意一个后，按键q，会出现标题为Selected Grasps 查看器3；
最后点击三个查看器中的任意一个后，按键q，会关闭所有查看器窗口】

在这里插入图片描述

 
下面是GPD用于抓取姿势（位置和方向）的惯例的可视化。抓取位置由橙色十字表示，方向由彩色箭头表示。【坐标轴，副法线，靠近】
在这里插入图片描述

 

1.4、参数

cfg/eigen_params.cfg 中给出了参数的简要说明。

您通常希望用来提高找到的抓取次数的两个参数是workspace和num_samples。第一个将在其中搜索抓取的空间体积定义为以点云框架的原点为中心的维度为[minX，maxX，minY，maxY，minZ，maxZ]的长方体。第二个是从点云中提取的用于检测抓取的样本数量。您应该将工作空间设置得尽可能小，并将样本数量设置得尽可能多。

大部分代码都是并行化的。要提高运行时间，请将num_threads设置为计算机可用的(物理)CPU核心数。

 

1.5、可视

您可以将该套件与一个或两个深度传感器一起使用。这个包附带了两者的CAFFE模型文件。您可以在models/caffe/15channels中找到这些文件。对于单个传感器，使用single _ view _ 15 _ channels . caffe model，对于两个深度传感器，使用two_views_15_channels_[angle]。[角度]是两个传感器视图之间的角度，如下图所示。在双视图设置中，您希望在将两个点云发送到GPD之前将它们注册在一起。

在这里插入图片描述

将摄像机位置提供给配置文件( *.cfg ) 很重要，因为它使PCL能够估计正确的法线方向(指向相机)。或者，使用ROS包装器，可以提供多个摄像机位置。
在这里插入图片描述

要在一个和两个传感器视图之间切换，请更改配置文件中的参数weight_file。
 

1.6、神经网络的输入通道

该软件包带有神经网络的两种不同输入表示的权重文件，用于决定抓取是否可行:3或15个通道。默认为15个通道。但是，您可以使用3个通道来获得更好的运行时间，以弥补抓取质量的损失。有关更多详细信息，请参见下面的参考资料。
 

1.7、CNN框架

GPD附带了许多不同的分类器框架，它们利用不同的硬件并具有不同的依赖性。在框架之间切换需要运行带有附加参数的CMake。例如，要使用OpenVino框架:


cmake .. -DUSE_OPENVINO=ON

您可以使用ccmake来检查所有可能的cmake选项。

GPD支持以下三个框架:

OpenVino: installation instructions for open source version (CPUs, GPUs, FPGAs from Intel)
Caffe (GPUs from Nvidia or CPUs)
Custom LeNet implementation using the Eigen library (CPU)

可以通过对分类器接口进行子类化来添加额外的分类器。

OpenVINO
速度上推荐OpenVINO。要使用OpenVINO，您需要在编译GPD之前运行以下命令。


export InferenceEngine_DIR=/path/to/dldt/inference-engine/build/

 

1.8、Network Training

要用C++代码创建训练数据，需要安装OpenCV 3.4 Contribs。接下来，您需要编译带有DBUILD_DATA_GENERATION标志的GPD，如下所示:


cd gpd
mkdir build && cd build
cmake .. -DBUILD_DATA_GENERATION=ON
make -j

训练网络来预测抓取姿态有四个步骤。
首先，我们需要创建抓取图像。


./generate_data ../cfg/generate_data.cfg

你应该根据需要修改generate_data.cfg。

 
接下来，您需要将创建的数据库调整为train_offset和test_offset(参见generate_data的终端输出)。例如，要调整训练集的大小，请使用以下命令，并将size设置为train_offset的值。


cd pytorch
python reshape_hdf5.py pathToTrainingSet.h5 out.h5 size

 
第三步是训练一个神经网络。训练网络最简单的方法是使用现有的代码。这需要pytorch框架。要训练网络，请使用以下命令。


cd pytorch
python train_net3.py pathToTrainingSet.h5 pathToTestSet.h5 num_channels

 
第四步是将模型转换成ONNX格式。


python torch_to_onxx.py pathToPytorchModel.pwf pathToONNXModel.onnx num_channels

 
最后一步是将ONNX文件转换成OpenVINO兼容格式:tutorial。这提供了两个文件，可以通过修改CFG文件中的weight_file和model_file参数用GPD加载。

 

1.9、抓取图像/描述符

生成一些抓取姿态及其相应的图像/描述符:


./test_grasp_image ../tutorials/krylon.pcd 3456 1 ../models/lenet/15channels/params/

在这里插入图片描述

有关如何创建grasp图像的详细信息，请查看我们的期刊论文。

 

1.10、故障排除提示

Remove the cmake cache: rm CMakeCache.txt
make clean
Remove the build folder and rebuild.
Update gcc and g++ to a version > 5.

 
 

二、gpd_ros 教程

 

2.1 安装gps_ros流程：

 

1. Install GPD. Make sure to run make install to install GPD as a library.【见流程一】
 

2. 源码拉取


cd <location_of_your_workspace>/src
git clone https://github.com/atenpas/gpd_ros

 
3. 编译源码


cd <location_of_your_workspace>
catkin_make

 

2.2 使用gpd_ros

为ROS话题点云生成抓取

  • 1、首先，需要修改 gpd 文件夹中的配置文件，例如 <path_to_gpd>/cfg/ros_eigen_params.cfg， 搜索具有绝对文件路径的参数，并将其更改为系统上的实际路径【也就是有几个配置文件中有绝对路径的，就如/home/***这样的，要根据自己文件的实际路径进行修改】，下面列举了一个例子，还有还几个地方需要修改。

在这里插入图片描述

在这里插入图片描述
 

  • 2、接下来，需要修改ROS启动文件中的路径，该路径指向您在上一步中更改的配置文件，例如这一行。

在这里插入图片描述

 

  • 3、现在，您可以将GPD作为ROS节点运行。以下命令将启动一个等待ROS topic /cloud_stitched上的点云的ROS节点。一旦接收到点云，节点将在云中搜索抓取点。

roslaunch gpd_ros ur5.launch
一卒2018
关注
  • 17
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器人6D抓取姿态检测(GPD)－Ubuntu 16.04 + ROS Kinetic + RGBD + CPU版本的实现（详尽）
Eeko_x的博客
03-17 2027
机器人6D抓取姿态检测(GPD)－Ubuntu 16.04 + ROS Kinetic + RGBD + CPU版本的实现（详尽） 转发请注明出处： https://blog.csdn.net/Eeko_x 简介 本人毕业于英国南安普顿大学MSc Artificial Intelligence硕士专业，主攻计算机视觉方向，目前工作于机器人公司，研究机器视觉，识别抓取物体等… 最近做了一个 Gras...
gpd:检测点云中的6自由度抓握姿势
05-23
掌握姿势检测（GPD） 抓握姿势检测（GPD）是用于检测3D点云中2指机器人手（例如，平行下颌抓取器）的6自由度抓握姿势（3自由度位置和3自由度方向）的软件包。 GPD将点云作为输入，并生成可行抓取的姿态估计作为输出。 GPD的主要优势是： 适用于新颖的物体（检测不需要CAD模型）， 在混乱的环境中工作，并且 输出6-DOF抓握姿势（不只是自上而下的抓握）。 GPD包含两个主要步骤：对大量掌握的候选对象进行抽样，以及将这些候选对象归类为可行的抓握或不可行的抓握。 输入和输出示例 该程序包的参考是： 。 目录 PCL对GPU的支持 网络培训 掌握图像 参考 1）要求 PCL 1.9或更高版本 本征3.0或更高版本 OpenCV 3.4或更高版本 2）安装 以下说明已在Ubuntu 16.04上进行了测试。 类似的说明也适用于其他Linux发行版。 安装PCL和Eigen 。 如
机器人 Grasp Pose Detection (GPD) select_grasp.py 问题
flyfish
01-07 895
机器人 Grasp Pose Detection (GPD) select_grasp.py 问题 flyfish 问题描述 python santiago_select_grasp.py [ERROR] [1546838582.884550]: bad callback: &lt;function cloudCallback at 0x7f08de6d4938&gt; Traceback (m...
机器人6D抓取姿态检测(GPD)－Ubuntu 16.04 + ROS Kinetic + RGBD + CPU版本的实现
Eeko_x的博客
03-13 9486
@机器人6D抓取姿态检测(GPD) 机器人6D抓取姿态检测(GPD) 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： ...
机器人 检测点云中的抓取姿势 Grasp Pose Detection (GPD) 扩展实例编写
flyfish
12-26 4418
机器人 检测点云中的抓取姿势 Grasp Pose Detection (GPD) 扩展实例编写 flyfish 环境 Ubuntu16.04 ROS kinetic Detect Grasps With an RGBD camera 使用RGBD摄像机检测抓取 语言:C++ 相机：astra 在CmakeLists中添加： add_compile_options(-std=c++11) ad...
机器人 抓取 Grasp Pose Detection (GPD) grasp类型转ROS的标准pose
flyfish
01-10 2286
机器人 抓取 Grasp Pose Detection (GPD) grasp类型转ROS的标准pose flyfish 问题 ：原格式包含众多的Position，Orientation 是三个向量，应该怎么用哪个？ # This message describes a 2-finger grasp configuration by its 6-DOF pose, # consisting of...
ROS kinetic 升级 PCL1.9.0 以安装gpd库和gpd_ros
工大机器人工作室
03-28 4198
对于机械臂视觉抓取功能来说，比较传统的做法：由于之前的物体识别模块已经确定了这片点云对应的物体，如果我们有物体的3D模型，便可以直接用ICP算法将这片点云与物体的3D模型对齐。既然知道3D模型的位姿那就好办了。之后就是各种抓取姿态生成、力封闭之类的东西了。其他方法：利用RCNN在图像中定位了物体的大概位置，然后根据一堆点云做抓取，而不用知道物体的3D模型。 1、Using Geometry to...
Moveit Task Constructor GPD抓取架构理解
weixin_41003113的博客
12-16 452
检测点云中 的 6-DOF抓取姿势_C++_代码_下载
06-20
Grasp Pose Detection (GPD) 是一个包，用于在 3D 点云中检测 2 指机器人手（例如，平行下颚夹持器）的 6-DOF 抓取姿势（3-DOF 位置和 3-DOF 方向）。GPD 将点云作为输入，并生成可行抓取的姿态估计作为输出。GPD的...
ros_grasp_detection:输入
05-02
您的路径> / catkin_ws / src / ros_grasp_detection / src / m4 您可以在test.py中更改路径 我建议您先使用Juna2 / grasp_detection（这也是robot-grasp-detection的修改版本）训练模型，然后将模型复制到路径中。...
grasp_HelpNew.zip_grasp_grasp_HelpNew_newhelp_管家婆
09-23
1. **系统安装与配置**：如何下载并安装管家婆软件，设置系统参数，以及如何进行数据库的初始化和备份。 2. **基础操作**：如何创建和管理账户，输入和审核凭证，设置会计科目，以及进行期末结账等日常操作。 3. *...
YOLOv3 的实时对象抓取检测ROS包_机器手_C++_代码_下载
06-20
对象-抓取-检测-ROS 效果展示：https://github.com/yehengchen/video_demo/raw/master/video_demo/grasp_detection.gif ...
关于gpd_ros的安装问题
m0_53621852的博客
12-13 4105
gpd_ros的编译问题
6-DOF-ConvGPD 基于未知物体三维点云特征的机器人六自由度抓取
qxcqxc123的博客
02-16 2594
针对非结构化环境中任意位姿的未知物体, 提出了一种基于点云特征的机器人六自由度抓取位姿检测方 法, 以解决直接从点云中获取目标抓取位姿的难题. 首先, 根据点云的基本几何信息生成抓取候选, 并通过力平衡等 方法优化这些候选; 然后, 利用可直接处理点云的卷积神经网络ConvPoint评估样本, 得分最高的抓取将被执行, 其 中抓取位姿采样和评估网络都是以原始点云作为输入; 最后, 利用仿真和实际抓取实验进行测试. 结果表明, 该方法在常用对象上实现了88.33%的抓取成功率。
01 GDP历史记录抓取处理并入库案例
VikenBrain的博客
11-04 338
01 项目描述 1. 项目需求 1.1 步骤 1.1.1 抓取GDP历史数据 1.1.2 将抓取的数据通过Pandas这一数据处理工具进行数据清洗 1.1.3 将清洗好的数据存放如mysql数据库 2. 使用工具 Python + Pandas + Xpath 02 代码实现 import requests import time from lxml import etree import pandas as pd from sqla
安装Grasp Pose Detection (GPD) 时一些＂未定义的引用＂问题
GGnoGG的博客
12-14 1170
在安装Grasp Pose Detection (GPD) 时，会出现一些＂未定义的引用＂的问题 例如： /generate_candidates.cpp:46：对‘gpd::util::ConfigFile::ConfigFile(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)’未定义的引用 如图所示 解决方法：在CMakeList
GPD＜论文精简版＞
最新发布
cocapop的博客
03-16 457
1、二指手：双指手可以由两个接触面来模拟，这两个接触面沿着一维流形相互靠近和远离。因为只允许二指手，由于我们只允许使用两只手指的手，因此手相对于物体的 6-DOF 姿势足以计算出手指接触的位置，而手指接触的位置则是手相对于物体以给定姿势闭合时的位置。因此，只需给出 6-DOF 手部姿态，就能评估是否存在抓握动作。
抓取领域相关论文及摘要
cocapop的博客
05-21 8579
1、Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review（2019） 本文对基于视觉的机器人抓取技术进行了综述。总结了基于视觉的机器人抓取过程中的三个关键任务:目标定位、目标姿态估计和抓取估计。其中，目标定位任务包括不分类的目标定位、目标检测和目标实例分割。此任务在输入数据中提供目标对象的区域。目标位
cmake error at gazebo-pkgs/gazebo_grasp_plugin_ros/cmakelists.txt:68 (add_de
10-16
在CMakeLists.txt的第68行出现了一个错误，该错误是由于调用了add_dependency函数而引起的。 add_dependency函数是CMake中的一个函数，用于将一个目标（target）添加为另一个目标的依赖项。在这个错误中，调用了add_dependency函数，但是函数的参数不正确，导致出现了错误。 要解决这个错误，需要检查CMakeLists.txt中第68行的代码，并确保函数调用的参数是正确的。可能需要查看函数的文档或示例，以确定应该提供哪些参数。 另外，还需要检查是否引入了正确的依赖项，并确保在配置文件中包含了正确的头文件和库文件路径。 最后，重新运行CMake生成工程文件，以确保修改后的CMakeLists.txt文件能够顺利通过。 总结起来，要解决这个错误，需要检查CMakeLists.txt中第68行的代码、确保函数调用的参数正确、检查依赖项、并重新运行CMake生成工程文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值