Dex-Net使用手册————GQCNN网络

已于 2023-05-06 15:55:14 修改
阅读量1.2k 收藏 12
点赞数
分类专栏： 6D姿态估计 文章标签： 人工智能
于 2023-04-27 17:51:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cocapop/article/details/130412056
版权

 1. Dex-Net Package  GitHub - BerkeleyAutomation/dex-net

🎈dex-net Python 包用于打开、读取和编写 HDF5 数据库的 3D 对象模型、平行下颚抓取和掌握鲁棒性指标。

🎈HDF5数据库还可用于生成大量数据集，将点云和抓取的元组与二进制抓取鲁棒性标签相关联，以训练抓取质量卷积神经网络（GQ-CNN）来预测点云候选抓取的鲁棒性。  

🎈该软件包是Dexterity Network（Dex-Net）项目的一部分。

🐸Dex-Net Object Mesh Dataset v1.1 和 Dex-Net 2.0 HDF5 数据库可以从数据存储库下载。

🐸生成自定义数据集：script tools/generate_gqcnn_dataset.py

2.GQCNN Package  GitHub - BerkeleyAutomation/gqcnn

🎈gqcnn Python 包用于训练和分析 Grasp Quality Convolutional Neural Networks （GQ-CNN）。它是正在进行的Dexterity-Network（Dex-Net）项目的一部分

🐸安装和使用手册：Berkeley AUTOLAB’s GQCNN Package

 ——————————————————————————————————————————

Dexterity Network （Dex-Net） 是一个研究项目，包括代码、数据集和算法，用于生成合成点云数据集、机器人平行颚抓取和基于物理的抓取鲁棒性指标，用于数千个 3D 对象模型，以训练基于机器学习的方法来规划机器人抓取。 Dex-Net项目的更广泛目标是开发高度可靠的机器人抓取各种刚性物体，如工具，家居用品，包装商品和工业零件。

Dex-Net 1.0 专为在云中跨超过 10，000 个 3D 网格模型的数据集进行分布式稳健抓取分析而设计。【此代码已于 2017 年 2 月弃用】

Dex-Net 2.0 旨在生成训练数据集，以学习 Grasp 质量卷积神经网络 （GQ-CNN） 模型，该模型可预测候选平行下颌抓取点云对象的成功概率。 GQ-CNN可用于快速规划抓取，这些抓取可以举起和运输物理机器人的各种物体。

Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics  Dex-Net 2.0：深度学习，使用合成点云和分析抓取指标规划稳健的抓取

概述：为了减少深度学习稳健机器人抓取计划的数据收集时间，我们探索了从 6 万个点云、抓取和从 Dex-Net 7.3 的数千个 1D 模型生成的稳健分析抓取指标的合成数据集中进行训练。 我们使用生成的数据集 Dex-Net 0.2 来训练 Grasp 质量卷积神经网络 （GQ-CNN） 模型，该模型可快速预测深度图像中抓取成功的概率，其中抓取被指定为夹持器相对于 RGB-D 传感器的平面位置、角度和深度。 在ABB YuMi上进行的0，1多次试验实验比较了单个物体的抓取计划方法，结果表明，仅使用来自Dex-Net 000.2的合成数据训练的GQ-CNN可用于在0.0秒内计划抓取，八个具有对抗几何形状的已知对象的成功率为8%，并且比将点云注册到预先计算的对象数据集和索引抓取快93倍。 GQ-CNN也是十种新型家用物品数据集上性能最高的方法，在3个抓取中，误报率为零，被归类为稳健（29%精度），成功率比基于注册的方法高100.1倍。

GitHub - BerkeleyAutomation/gqcnn: Python module for GQ-CNN training and deployment with ROS integration.

Dex-Net 2.1 增加了 pybullet 的动态模拟，并将鲁棒抓取模型扩展到料箱拣选的顺序任务。

Dex-Net 3.0增加了对基于吸力的末端执行器的支持。

Dex-Net 3.0: Computing Robust Robot Suction Grasp Targets using a New Analytic Model and Deep Learning  Dex-Net 3.0：使用新的分析模型和深度学习计算强大的机器人吸力抓取目标

🎈基于抽吸的末端执行器广泛用于工业，并且通常优于平行钳口和多指夹具，因为它们能够通过单点接触提升物体。此功能简化了规划，并且通常使用手动编码的启发式方法（例如瞄准平面）来根据点云数据选择吸力抓取。在本文中，我们提出了一种顺应的吸力接触模型，该模型计算吸盘和目标物体之间的密封质量，并确定吸力抓手是否可以抵抗物体上的外部扳手（例如重力）。

🎈为了评估抓取，我们测量了对末端执行器和物体姿势、材料属性和外部扳手的扰动的鲁棒性。我们使用此模型生成 Dex-Net 3.0，一个包含 2 万个点云、吸力抓取和抓取鲁棒性标签的数据集，该数据集由 8，1 个 500D 对象模型计算，并在此数据集上训练 Grasp 质量卷积神经网络 （GQ-CNN），以对点云中的吸力抓取鲁棒性进行分类。我们在配备气动吸盘的ABB YuMi上进行3次物理试验，评估了最终的系统。当对象形状、姿势和质量属性已知时，模型在具有对抗几何（如急剧曲面）的对象数据集上实现了 375% 的精度。此外，在Dex-Net 99.3上训练的基于GQ-CNN的策略在基本和典型对象数据集上分别实现了0%和99%的精度。

Dex-Net 4.0 统一了多个抓手的奖励指标，以有效地训练“灵巧”抓取策略，从而决定哪种抓手最适合特定对象。

Learning Ambidextrous Robot Grasping Policies学习灵巧机器人抓取策略

通用拣选 （UP） 或可靠的机器人抓取堆中的各种新物体是一项重大挑战 用于电子商务订单履行、制造、检验和上门服务机器人。优化速率、可靠性、 由于传感、控制和接触物理场固有的不确定性，UP的范围很困难。本文探讨了 “灵巧”机器人抓取，其中使用两个或多个异质夹具。我们介绍灵巧网络 （Dex-Net） 4.0，对以前版本的Dex-Net的实质性扩展，可以学习一组给定的抓手的策略 通过使用物理和几何分析模型的域随机化对合成数据集进行训练。我们 在5万张合成深度图像上训练平行钳口和真空吸盘夹具的策略， 抓住，并从成堆的三维物体中产生奖励。在带有两个抓手的物理机器人上， Dex-Net 4.0 策略始终如一地清除多达 25 个新对象的箱子，可靠性大于 95%，速率 每小时超过 300 次平均拣选。

数据

法典

GQ-CNN模型对生成数据集时使用的以下参数很敏感：

  1.         机器人抓手
  2.         深度摄像机
  3.         相机和工作区之间的距离。

因此，我们不能保证我们的预训练模型在其他物理设置上的性能。关于预训练的模型和示例策略的样本输入的更多信息，请参见Pre-trained Models and Sample Inputs.。

What are GQ-CNNs?

GQ-CNN是一种神经网络架构，它将深度图像和抓取作为输入，并输出在抬起，运输和摇晃物体时抓取成功握住物体的预测概率。

GQ-CNN 权重在合成点云、平行下颌抓取和从基于物理的模型生成的抓取指标数据集上进行训练，这些模型具有域随机化，可实现从模拟到真实的转移。有关更多信息，请参阅正在进行的Dexterity Network（Dex-Net）项目。

💚Prerequisites

Python

The gqcnn package has only been tested with Python 3.5, Python 3.6, and Python 3.7.

Ubuntu

The gqcnn package has only been tested with Ubuntu 12.04, Ubuntu 14.04 and Ubuntu 16.04.

Virtualenv

We highly recommend using a Python environment management system, in particular Virtualenv, with the Pip and ROS installations. Note: Several users have encountered problems with dependencies when using Conda.

🎈Pip Installation

The pip installation is intended for users who are only interested in
1) Training GQ-CNNs or
2) Grasp planning on saved RGBD images, not interfacing with a physical robot.

If you have intentions of using GQ-CNNs for grasp planning on a physical robot, we suggest you install as a ROS package.

1. Clone the repository

$ git clone https://github.com/BerkeleyAutomation/gqcnn.git

2. Run pip installation

Change directories into the gqcnn repository and run the pip installation.

This will install gqcnn in your current virtual environment.

$ pip install .

🎈ROS Installation

Installation as a ROS package is intended for users who wish to use GQ-CNNs to plan grasps on a physical robot.

1. Clone the repository

Clone or download the project from Github.

$ cd <PATH_TO_YOUR_CATKIN_WORKSPACE>/src
$ git clone https://github.com/BerkeleyAutomation/gqcnn.git

2. Build the catkin package

Build the catkin package.

$ cd <PATH_TO_YOUR_CATKIN_WORKSPACE>
$ catkin_make

Then re-source devel/setup.bash for the package to be available through Python.

💚Overview

There are two main use cases of the gqcnn package:

1.在离线数据集中使用GQCNN模型，然后在RGBD图像上进行抓取规划
2.在RGBD图上使用预先训练的GQCNN模型

Prerequisites 先决条件

先下载示例模型和数据集

$ cd /path/to/your/gqcnn
$ ./scripts/downloads/download_example_data.sh
$ ./scripts/downloads/models/download_models.sh
$ ./scripts/downloads/download_example_data.sh内容解释

mkdir -p models
'''创建名为 "models" 的文件夹，用于存储模型文件；'''

cd models

if [ ! -d "GQCNN-4.0-PJ" ]; then
    wget -O GQCNN-4.0-PJ.zip https://berkeley.box.com/shared/static/boe4ilodi50hy5as5zun431s1bs7t97l.zip
    unzip -a GQCNN-4.0-PJ.zip
else
    echo "Found existing 4.0 PJ model..."
fi
'''如果不存在 GQCNN-4.0-PJ 模型，则从网络上下载 GQCNN-4.0-PJ 模型，并解压到 models 文件夹中；'''


if [ ! -d "GQCNN-4.0-SUCTION" ]; then
    wget -O GQCNN-4.0-SUCTION.zip https://berkeley.box.com/shared/static/kzg19axnflhwys9t7n6bnuqsn18zj9wy.zip
    unzip -a GQCNN-4.0-SUCTION.zip
else
    echo "Found existing 4.0 suction model..."
fi
'''如果不存在 GQCNN-4.0-SUCTION 模型，则从网络上下载 GQCNN-4.0-SUCTION 模型，并解压到 models 文件夹中；'''

cd ..

# DOWNLOAD DATASETS (if they don't already exist).

# PARALLEL JAW.
mkdir -p data/training
'''
创建名为 "data/training" 的文件夹，用于存储训练数据；'''
cd data/training

if [ ! -d "example_pj" ]; then
    wget -O example_training_dataset_pj.zip https://berkeley.box.com/shared/static/wpo8jbushrdq0adwjdsampui2tu1w1xz.zip
    unzip example_training_dataset_pj.zip
    mv grasps example_pj
else
    echo "Found existing example PJ dataset..."
fi
'''如果不存在 example_pj 数据集，则从网络上下载 example_pj 数据集，并解压到 data/training 文件夹中；'''


# SUCTION.
if [ ! -d "example_suction" ]; then
    wget -O example_training_dataset_suction.zip https://berkeley.box.com/shared/static/fc9zb2cbql5rz6qtp11f6m7s0hyt1dwf.zip
    unzip example_training_dataset_suction.zip
    mv grasps example_suction
else
    echo "Found existing example suction dataset..."
fi
'''如果不存在 example_suction 数据集，则从网络上下载 example_suction 数据集，并解压到 data/training 文件夹中。'''

cd ../..
./scripts/downloads/models/download_models.sh内容解释：

mkdir -p models
'''建models文件夹'''

# STANDARD.
wget -O models/GQCNN-2.0.zip https://berkeley.box.com/shared/static/j4k4z6077ytucxpo6wk1c5hwj47mmpux.zip
wget -O models/GQCNN-2.1.zip https://berkeley.box.com/shared/static/zr1gohe29r2dtaaq20iz0lqcbk5ub07y.zip
wget -O models/GQCNN-3.0.zip https://berkeley.box.com/shared/static/8l47knzbzffu8zb9y5u46q0g0rvtuk74.zip
wget -O models/GQCNN-4.0-PJ.zip https://berkeley.box.com/shared/static/boe4ilodi50hy5as5zun431s1bs7t97l.zip
wget -O models/GQCNN-4.0-SUCTION.zip https://berkeley.box.com/shared/static/kzg19axnflhwys9t7n6bnuqsn18zj9wy.zip

# FULLY-CONVOLUTIONAL.
wget -O models/FC-GQCNN-4.0-PJ.zip https://berkeley.box.com/shared/static/d9tvdnudd7f0743gxixcn0k0jeg1ds71.zip
wget -O models/FC-GQCNN-4.0-SUCTION.zip https://berkeley.box.com/shared/static/ini7q54957u0cmaaxfihzn1i876m0ghd.zip
'''-O 选项用于指定本地保存的文件名
在/models文件下保存5+2个zip文件'''

cd models
unzip -a GQCNN-2.0.zip
mv GQ-Image-Wise GQCNN-2.0
unzip -a GQCNN-2.1.zip
mv GQ-Bin-Picking-Eps90 GQCNN-2.1
unzip -a GQCNN-3.0.zip
mv GQ-Suction GQCNN-3.0
unzip -a GQCNN-4.0-PJ.zip
unzip -a GQCNN-4.0-SUCTION.zip
unzip -a FC-GQCNN-4.0-PJ.zip
unzip -a FC-GQCNN-4.0-SUCTION.zip
'''解压5+2个zip文件
cd ..

🎈Running Python Scripts 运行python脚本

cd /path/to/your/gqcnn
python /path/to/script.py

💚Training

The gqcnn package can be used to train a Dex-Net 4.0 GQ-CNN model on a custom offline Dex-Net dataset.【软件包可用于在自定义离线模式上训练GQ-CNN模型数据集。】从头训练耗时，所以训练新网络最有效的方法是微调预训练的GQ-CNN模型的权重。Dex-Net 4.0 GQ-CNN model,已经在百万张图像上进行了训练。

若要微调 GQ-CNN ，则运行:

$ python tools/finetune.py <training_dataset_path> <pretrained_network_name> --config_filename <config_filename> --name <model_name>

The args are:

  1. training_dataset_path: Path to the training dataset.

  2. pretrained_network_name: Name of pre-trained GQ-CNN.

  3. config_filename: Name of the config file to use.

  4. model_name: Name for the model

训练GQ-CNN，选择不同的gripper，运行不同的代码

To train a GQ-CNN for a parallel jaw gripper on a sample dataset, run the fine-tuning script:

$ python tools/finetune.py data/training/example_pj/ GQCNN-4.0-PJ --config_filename cfg/finetune_example_pj.yaml --name gqcnn_example_pj

To train a GQ-CNN for a suction gripper run:

$ python tools/finetune.py data/training/example_suction/ GQCNN-4.0-SUCTION --config_filename cfg/finetune_example_suction.yaml --name gqcnn_example_suction

🎈Visualizing Training 训练可视化

gqcnn模型包含对通过Tensorboard可视化训练进度的支持。当训练脚本运行时，Tensorboard会自动启动，可以通过在网络浏览器中导航到localhost:6006来访问。

在那里你会发现类似下面的内容：

其中显示有用的训练统计数据，如验证误差、最小批量损失和学习率。

Tensorflow摘要存储在model/<model_name>/tensorboard_summaries/

💚Analysis

检查训练和验证损失和分类的错误，有助于确保网络训练成功。想分析经过训练的GQ -CNN的性能，请运行：

$ python tools/analyze_gqcnn_performance.py <model_name>

The args are:

  1. model_name: Name of a trained model.

To analyze the networks we just trained, run:

$ python tools/analyze_gqcnn_performance.py gqcnn_example_pj
$ python tools/analyze_gqcnn_performance.py gqcnn_example_suction

💚Grasp Planning

抓取计划包括在给定的点云中寻找具有最高预测成功概率的抓取方式。在gqcnn软件包中，这被实现为通过最大化GQ-CNN的输出将RGBD图像映射到6-DOF抓取姿势的策略。最大化可以用迭代方法实现，如交叉熵法（CEM），它用于Dex-Net 2.0、Dex-Net 2.1、Dex-Net 3.0、Dex-Net 4.0，或者更快的全卷积网络，这在FC-GQ-CNN中使用。

我们在examples/中提供了策略的例子。特别是，我们提供了一个Python策略示例和一个ROS策略示例。注意，ROS策略需要安装ROS gqcnn，可以在这里找到。我们强烈建议使用Python策略，除非你需要使用ROS对物理机器人进行抓取规划。

Sample Inputs

Sample inputs from our experimental setup are provided with the repo:

  1. data/examples/clutter/phoxi/dex-net_4.0: Set of example images from a PhotoNeo PhoXi S containing objects used in Dex-Net 4.0 experiments arranged in heaps.

  2. data/examples/clutter/phoxi/fcgqcnn: Set of example images from a PhotoNeo PhoXi S containing objects in FC-GQ-CNN experiments arranged in heaps.

  3. data/examples/single_object/primesense/: Set of example images from a Primesense Carmine containing objects used in Dex-Net 2.0 experiments in singulation.

  4. data/examples/clutter/primesense/: Set of example images from a Primesense Carmine containing objects used in Dex-Net 2.1 experiments arranged in heaps.

请注意，在尝试这些样本输入时，你必须确保你所使用的GQ-CNN模型是为相应的摄像机和输入类型（单一化/杂乱化）训练的。

Pre-trained Models

Dex-Net 4.0的预训练的平行颚和吸力模型会随着gqcnn包的安装自动下载。如果你确实希望尝试旧的结果的模型（或我们的实验模型FC-GQ-CNN），所有预训练的模型都可以用下载：

$ ./scripts/downloads/models/download_models.sh

The models are:

  1. GQCNN-2.0: For Dex-Net 2.0, trained on images of objects in singulation with parameters for a Primesense Carmine.

  2. GQCNN-2.1: For Dex-Net 2.1, a Dex-Net 2.0 model fine-tuned on images of objects in clutter with parameters for a Primesense Carmine.

  3. GQCNN-3.0: For Dex-Net 3.0, trained on images of objects in clutter with parameters for a Primesense Carmine.

  4. GQCNN-4.0-PJ: For Dex-Net 4.0, trained on images of objects in clutter with parameters for a PhotoNeo PhoXi S.

  5. GQCNN-4.0-SUCTION: For Dex-Net 4.0, trained on images of objects in clutter with parameters for a PhotoNeo PhoXi S.

  6. FC-GQCNN-4.0-PJ: For FC-GQ-CNN, trained on images of objects in clutter with parameters for a PhotoNeo PhoXi S.

  7. FC-GQCNN-4.0-SUCTION: For FC-GQ-CNN, trained on images of objects in clutter with parameters for a PhotoNeo PhoXi S.

请注意，GQ-CNN模型对数据集生成过程中使用的参数很敏感，特别是：1）抓手的几何形状，我们所有的预训练模型都使用ABB YuMi平行颚式抓手；2）相机的内在结构，我们所有的预训练模型都使用Primesense Carmine或PhotoNeo Phoxi S（关于哪一个见上文）；3）渲染时相机和工作区之间的距离，我们所有的预训练模型都是50-70厘米。因此，我们不能保证我们的预训练模型在其他物理设置上的性能。我们正在积极研究如何生成更强大的数据集，可以跨机器人、相机和视角进行通用化！

Python Policy

The example Python policy can be queried on saved images using:

$ python examples/policy.py <model_name> --depth_image <depth_image_filename> --segmask <segmask_filename> --camera_intr <camera_intr_filename>

The args are:

  1. model_name: Name of the GQ-CNN model to use.

  2. depth_image_filename: Path to a depth image (float array in .npy format).

  3. segmask_filename: Path to an object segmentation mask (binary image in .png format).

  4. camera_intr_filename: Path to a camera intrinsics file (.intr file generated with BerkeleyAutomation’s perception package).

To evaluate the pre-trained Dex-Net 4.0 parallel jaw network on sample images of objects in heaps run:

$ python examples/policy.py GQCNN-4.0-PJ --depth_image data/examples/clutter/phoxi/dex-net_4.0/depth_0.npy --segmask data/examples/clutter/phoxi/dex-net_4.0/segmask_0.png --camera_intr data/calib/phoxi/phoxi.intr

To evaluate the pre-trained Dex-Net 4.0 suction network on sample images of objects in heaps run:

$ python examples/policy.py GQCNN-4.0-SUCTION --depth_image data/examples/clutter/phoxi/dex-net_4.0/depth_0.npy --segmask data/examples/clutter/phoxi/dex-net_4.0/segmask_0.png --camera_intr data/calib/phoxi/phoxi.intr

FC-GQ-CNN Policy

FC-GQ CNN题目：基于全卷积深度网络学习机器人抓取策略的策略数据集合成

快速可靠的机器人抓取各种物体的应用范围从仓库自动化到家庭整理。一种有前途的方法是从点云、抓取和奖励的综合训练数据集中学习深度策略，这些数据集使用具有域随机化的随机噪声模型的分析模型进行采样。

探讨了合成训练样本的分布如何影响学习机器人策略的速率和可靠性。提出了一种合成数据抽样分布，它将从政策行动集中抽样的抓取与来自具有完整状态知识的强大抓取主管的指导样本相结合。我们用它来训练基于完全卷积网络架构的机器人策略，该架构以 4-DOF（3D 位置和平面方向）评估数百万个抓取候选者。 

  • 我们最新的研究成果FC-GQ-CNN，将新颖的全卷积网络结构与我们先前在GQ-CNN方面的工作结合起来，以提高策略率和可靠性。
  • FC-GQ-CNN不是依靠交叉熵法（CEM）在策略动作空间中反复搜索最佳抓取方式，而是密集而有效地并行评估整个动作空间。
  • 因此，它能够在0.625秒内考虑5000次以上的抓取，从而使MPPH（平均每小时抓取次数）达到296次，而之前Dex-Net 4.0的MPPH是250次。
  • 论文链接：on_policy_dataset_synth_fcgqcnn.pdf

You can download the pre-trained FC-GQ-CNN parallel jaw and suction models along with the other pre-trained models:

$ ./scripts/downloads/models/download_models.sh

Then run the Python policy with the --fully_conv flag.

To evaluate the pre-trained FC-GQ-CNN parallel jaw network on sample images of objects in heaps run:

$ python examples/policy.py FC-GQCNN-4.0-PJ --fully_conv --depth_image data/examples/clutter/phoxi/fcgqcnn/depth_0.npy --segmask data/examples/clutter/phoxi/fcgqcnn/segmask_0.png --camera_intr data/calib/phoxi/phoxi.intr

To evaluate the pre-trained FC-GQ-CNN suction network on sample images of objects in heaps run:

$ python examples/policy.py FC-GQCNN-4.0-SUCTION --fully_conv --depth_image data/examples/clutter/phoxi/fcgqcnn/depth_0.npy --segmask data/examples/clutter/phoxi/fcgqcnn/segmask_0.png --camera_intr data/calib/phoxi/phoxi.intr

💚Replicating Results

有两种方法来复制结果：

1.使用预先训练过的模型： 下载一个预先训练好的GQ-CNN模型，并运行一个例子政策。

2.从头开始训练： 下载原始数据集，训练一个GQ-CN模型，并使用你刚刚训练的模型运行一个例子策略。

我们鼓励使用方法1。因为2计算昂贵，原始数据集太大。

方法1：Using a Pre-trained Model

First download the pre-trained models.

$ ./scripts/downloads/models/download_models.sh

Dex-Net 2.0

Evaluate the pre-trained GQ-CNN model.

$ ./scripts/policies/run_all_dex-net_2.0_examples.sh

Dex-Net 2.1

Evaluate the pre-trained GQ-CNN model.

$ ./scripts/policies/run_all_dex-net_2.1_examples.sh

Dex-Net 3.0

Evaluate the pre-trained GQ-CNN model.

$ ./scripts/policies/run_all_dex-net_3.0_examples.sh

Dex-Net 4.0

To evaluate the pre-trained parallel jaw GQ-CNN model.

$ ./scripts/policies/run_all_dex-net_4.0_pj_examples.sh

To evaluate the pre-trained suction GQ-CNN model.

$ ./scripts/policies/run_all_dex-net_4.0_suction_examples.sh

FC-GQ-CNN

To evaluate the pre-trained parallel jaw FC-GQ-CNN model.

$ ./scripts/policies/run_all_dex-net_4.0_fc_pj_examples.sh

To evaluate the pre-trained suction FC-GQ-CNN model.

$ ./scripts/policies/run_all_dex-net_4.0_fc_suction_examples.sh

方法2：Training from Scratch 从0开始训练

​'''Dex-Net 2.0'''
'''1.下载数据集  First download the appropriate dataset.'''
$ ./scripts/downloads/datasets/download_dex-net_2.0.sh

'''2.训练  Then train a GQ-CNN from scratch.'''
$ ./scripts/training/train_dex-net_2.0.sh

'''3.评估   Finally, evaluate the trained GQ-CNN.'''
$ ./scripts/policies/run_all_dex-net_2.0_examples.sh


'''Dex-Net 2.1'''
First download the appropriate dataset.
$ ./scripts/downloads/datasets/download_dex-net_2.1.sh

Then train a GQ-CNN from scratch.
$ ./scripts/training/train_dex-net_2.1.sh

Finally, evaluate the trained GQ-CNN.
$ ./scripts/policies/run_all_dex-net_2.1_examples.sh

'''Dex-Net 3.0'''
First download the appropriate dataset.
$ ./scripts/downloads/datasets/download_dex-net_3.0.sh

Then train a GQ-CNN from scratch.
$ ./scripts/training/train_dex-net_3.0.sh

Finally, evaluate the trained GQ-CNN.
$ ./scripts/policies/run_all_dex-net_3.0_examples.sh

'''Dex-Net 4.0parallel jaw results'''
To replicate the Dex-Net 4.0 parallel jaw results, first download the appropriate dataset.
$ ./scripts/downloads/datasets/download_dex-net_4.0_pj.sh

Then train a GQ-CNN from scratch.
$ ./scripts/training/train_dex-net_4.0_pj.sh

Finally, evaluate the trained GQ-CNN.
$ ./scripts/policies/run_all_dex-net_4.0_pj_examples.sh


'''Dex-Net 4.0 suction results'''
To replicate the Dex-Net 4.0 suction results, first download the appropriate dataset.
$ ./scripts/downloads/datasets/download_dex-net_4.0_suction.sh

Then train a GQ-CNN from scratch.
$ ./scripts/training/train_dex-net_4.0_suction.sh

Finally, evaluate the trained GQ-CNN.
$ ./scripts/policies/run_all_dex-net_4.0_suction_examples.sh


'''FC-GQ-CNN parallel jaw results'''
To replicate the FC-GQ-CNN parallel jaw results, first download the appropriate dataset.
$ ./scripts/downloads/datasets/download_dex-net_4.0_fc_pj.sh

Then train a FC-GQ-CNN from scratch.
$ ./scripts/training/train_dex-net_4.0_fc_pj.sh

Finally, evaluate the trained FC-GQ-CNN.
$ ./scripts/policies/run_all_dex-net_4.0_fc_pj_examples.sh


'''FC-GQ-CNN parallel suction results'''
To replicate the FC-GQ-CNN suction results, first download the appropriate dataset.
$ ./scripts/downloads/datasets/download_dex-net_4.0_fc_suction.sh

Then train a FC-GQ-CNN from scratch.
$ ./scripts/training/train_dex-net_4.0_fc_suction.sh

Finally, evaluate the trained FC-GQ-CNN.
$ ./scripts/policies/run_all_dex-net_4.0_fc_suction_examples.sh
​

💚Benchmarks

Dex-Net 2.0

Below are the highest classification accuracies achieved on the Dex-Net 2.0 dataset on a randomized 80-20 train-validation split using various splitting rules:

The current leader is a ConvNet submitted by nomagic.ai.

GQ is our best GQ-CNN for Dex-Net 2.0.

 API Documentation

GQ-CNN — GQCNN 1.1.0 documentation

cocapop
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
抓取检测之Dex-Net 2.0
千羽的计算机视觉与机器人
12-11 5547
前言 如今，在各种期刊顶会都能看到平面抓取检测的论文，他们声称能应对多物体堆叠场景，然而实际效果都不尽人意，我认为主要原因有如下几点： （1）缺乏多物体堆叠场景的抓取数据集。现在最常用的Cornell Grasp Dataset, Jacquard数据集都是单目标场景。（像Dex-Net数据集和Google机器人工厂这种东西普通研究者就只能看着了） （2）现在的研究者过于强调端到端检测。 （3）没有一个合适的抓取表示法。 如何利用少量数据集学习一个端到端网络或者整个方法中的一个子网络，实现堆叠场景
dex-method-counts jar包以及reg脚本
02-22
dex-method-counts jar包以及脚本文件（下载后需要自行修改路径），脚本文件使用可查看https://blog.csdn.net/weixin_41122292/article/details/112982576
dex-tools-2.1-SNAPSHOT_dex-tools-2.1_
09-29
支持Java jdk1.8版本的 安卓apk反编译工具。
dex-tools-2.1-SNAPSHOT.rar
03-15
d2j-dex2jar.bat my.apk或者 d2j-dex2jar.bat my.dex
gqcnn:通过ROS集成进行GQ-CNN培训和部署的Python模块
05-10
注意：Python 2.x支持已被正式删除。 伯克利AUTOLAB的GQCNN软件包 包装概述 gqcnn Python软件包用于训练和分析抓握质量卷积神经网络（GQ-CNN）。 它是正在进行的项目的一部分，该项目由UC Berkeley的创建和维护。 安装及使用 请参阅以获取安装和使用说明。 引文 如果您在出版物中使用此代码的任何部分，请引用。
dex-net 复现(virtualenv)
weixin_44417398的博客
12-11 1179
网上有人说最好用python2.7,所以就按2.7版本来. virtualenv 通过pip安装virtualenv： pip install virtualenv -i https://pypi.tuna.tsinghua.edu.cn/simple 测试安装: virtualenv --version # 或者 通过 pip list 查看是否安装成功 测试 workon mkvirtualenv 创建虚拟环境： $ virtualenv -p /usr/bin/p...
机器人抓取（六）—— 抓取点检测（抓取位姿估计） gqcnn代码测试与解读
热门推荐
zxxRobot的博客
05-21 1万+
grasp detection 两个开源工作做得比较好的二维平面抓取点检测项目。 gcnn, 文档 GR-ConvNet 1. gcnn 文档 1.1 ros安装 cd catkin_workspace/src git clone https://github.com/BerkeleyAutomation/gqcnn.git cd gqcnn pip install . # 该安装方法很有可能不成功，可以找到gpu_requirements.txt文件，逐个安装。pip不成可尝试conda # ca
【Dex-Net 2.0】论文精度：Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp
weixin_43998552的博客
03-22 904
【持续更新中...】Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics
机器人抓取检测——Dex-Net
cocapop的博客
05-06 1423
简单说一下Dex-Net系列算法。Dex-Net共包括1.0--4.0四个版本，1.0为传统的解析法。2.0基于深度学习对平行板抓取配置进行质量评估，3.0针对吸盘进行设计，4.0结合了2.0和3.0两个算法。如何利用少量数据集学习一个端到端网络或者整个方法中的一个子网络，实现堆叠场景中的平面抓取检测亟待解决。算法输入为深度图，输出为平面抓取表示，即坐标点和抓取角，然后张开平行板抓取器至最大并垂直抓取。算法主要包括两部分：采样抓取候选，抓取质量评估。
械臂论文笔记（三）【抓取检测】机器人抓取检测技术的研究现状 刘亚欣
WhiffeYF的博客
12-11 6137
作为机器人在工厂、家居等环境中最常用的基础动作,机器人自主抓取有着广泛的应用前景,近十年来研究人员对其给予了较高的关注,然而,在非结构环境下任意物体任意姿态的准确抓取仍然是一项具有挑战性和复杂性的研究. 机器人抓取涉及3个主要方面:检测、规划和控制. 作为第1步,检测物体并生成抓取位姿是成功抓取的前提,有助于后续抓取路径的规划和整个抓取动作的实现. 鉴于此,以检测为主进行文献综述,从分析法和经验法两大方面介绍抓取检测技术,从是否具有抓取物体先验知识的角度出发,将经验法分成已知物体和未知物体的抓取,并详细描述
dex-tools-2.1-SNAPSHOT.tar
09-18
dex2jar 反编译apk 报错 error.zip 的解决 打开 error.zip，报错内容为：java.lang.RuntimeException: can not merge I and Z 解决：需要自己编译 dex2jar，附件是我自己编译的dex2jar
dex-tools-2.1-SNAPSHOT.zip
12-21
dex-tools-2.1-SNAPSHOT.zip
Dex-net再次复现
走过路过不要错过
09-30 2544
近期为了实现一个项目，涉及机器人抓取内容，于是决定使用伯克利大学的Dex-Net 2.0来实现物体的抓取。本机环境：Ubuntu16.04，ROS Kinetic，CUDA10.1，Python2.7（虽然官方教程说可以使用Python3.5,但是由于需要使用ROS控制实际的机器人，而且网上又说ROS只支持Python2.x，同时后期遇到相关与ROS有关的模块，Python3.5编译有点问题，故重...
GraspNet-1Billion
weixin_50920579的博客
02-01 1253
然后，类似于抓取标注的生成过程，在给定不同的µ的情况下，我们可以通过力闭合度量得到每个抓取姿势的二进制标签。这些图像是从190个杂乱的场景中收集的，每个场景都贡献了两个不同摄像头拍摄的512张RGB-D图像，总共带来了97,280张图像。测试集中30个用于见过的物体，30个用于没见过但相似的物体，30个用于新物体。组合M个（3+c）和M个（2+v）--生成圆柱形的抓取区域，每个区域里ni个抓取点（ni*（3+c））3.此外，为了提高抓取姿态的抗扰性，提出了抓取亲和场的新表示法，使网络具有较强的抗扰动能力。
GQCNN+PointNetGPD思路和问题--chatGPT
cocapop的博客
05-06 2210
GQ-CNN包括两个神经网络模型：一个是抓取质量网络（Grasp Quality Convolutional Neural Network，GQ-CNN），另一个是抓取姿态网络（Grasp Pose Convolutional Neural Network，GPD-CNN）。它使用了一系列的深度神经网络来预测每个可能的抓取姿态的质量，并根据质量选取最优的抓取姿态。其中，GQ-CNN预测抓取质量，即抓取成功的概率，并输出抓取质量的置信度。在GQ-CNN中，最后一层是全连接层，输出抓取成功的概率和置信度。
伯克利GQ-CNN复现填坑记录
sinat_25068035的博客
12-14 1077
首先上链接 这里注意一下，由于后面要用ROS，所以尽量不要用conda，直接 conda deactivate 退出base环境（如果已经安装anaconda的话） 这时候运用Virtualenv来创建虚拟环境，参考链接 我这里是 #先安装，python3.3+好像有 pip3 install virtualenv mkdir myproject cd myproject #注意这里 （用 virtualenv --version看看版本，大于20就不要--no--site-package） virtu
Dex-Net 2.0＜论文＞
cocapop的博客
05-06 291
合成数据集：通过计算机模拟生成的数据集，而不是通过真实的物理实验、观测或者采集得到的数据集。这种方法可以控制物体、场景和光照等条件，以满足特定的研究需求.由于感知和执行的不精确性，可靠的机器人抓取非常具有挑战性，这导致了对物体形状、姿态、材料特性和质量等属性的不确定性。最近的研究表明，基于大规模人类抓取标签或物理抓取结果的深度神经网络可以用于直接从图像或点云中规划成功抓取多种物体，类似于计算机视觉中的泛化结果，但数据收集要么需要繁琐的人工标记，要么需要在物理系统上执行数月时间。
深度感知＋深度学习，伯克利的机器人面对陌生目标也能成功取物
weixin_34007020的博客
10-25 495
编者按：关于训练机器人抓手的研究并不少，大多都是从计算机视觉的角度出发，训练机器人“看得清”、“抓得准”。本文同样如此，不过与以往观察彩色图片不同，伯克利的研究者们借助“深度图像”这个“利器”，提出了一种更加高效的方法，能让机器人成功抓起此前并未见过的物体。 左：3D立方体。右：对应深度图像，距相机越近颜色越深。 早在AlexNet...
智能决策引擎架构设计
最新发布
猫七姑娘的小博客
05-15 1452
智能决策引擎系统是在大数据支撑下，根据行业专家经验制定规则策略、以及机器学习/深度学习/AI领域建立的模型运算，对当前的业务进行全面的评估，并给出决策结果的一套系统。一套商业决策引擎系统动辄百万而且需要不断加钱定制，大多数企业最终仍会走上自研道路，市场上有些开源规则引擎项目可参考，比较出名的开源规则引擎有drools、urule，都是基于Rete算法，都是基于java代码实现，一些企业会进行二次开发落地生产。而这类引擎功能强大但也比较“笨重”，易用性以及定制性并不够好，对其他语言栈二次开发困难。
机器人抓取训练方法dex-net详细介绍
07-15
DEX-Net（Dexterity Network）是一种用于机器人抓取训练的方法，它旨在教会机器人如何在复杂的环境中高效地抓取物体。下面是对DEX-Net的详细介绍： 1. 抓取姿态表示：DEX-Net使用一种称为抓取姿态表示的方法来描述抓取物体时的姿态。抓取姿态表示包括物体的3D几何信息和机器人抓取器的状态，例如抓取器的位置、朝向和打开程度等。这个表示可以帮助机器人预测在不同姿态下抓取成功的概率。 2. 数据集收集：为了训练DEX-Net，需要收集大量的数据集来包含各种不同的物体和抓取姿态。通常使用深度相机来获取物体的3D几何信息，并记录机器人执行抓取动作的状态。可以通过人工控制机器人进行抓取或使用自动化方法来生成数据集。 3. 数据标注和预处理：收集到的数据集需要进行标注和预处理。标注包括为每个抓取姿态分配一个二进制标签，表示抓取成功或失败。预处理可能包括将3D几何信息转换为适当的表示形式，例如点云或体素网格。 4. 网络训练：使用标注和预处理后的数据集来训练神经网络模型。通常使用深度学习方法，如卷积神经网络（CNN）或递归神经网络（RNN），来学习抓取姿态表示与抓取成功概率之间的关系。训练过程中，优化算法将调整网络参数以最大化预测的准确性。 5. 抓取规划：训练完成后，可以使用训练好的模型来进行抓取规划。机器人可以通过查询模型来预测不同姿态下的抓取成功概率，并选择具有最高成功概率的抓取姿态进行执行。 总的来说，DEX-Net是一种基于深度学习的方法，用于训练机器人在复杂环境中进行高效抓取。它通过收集大量数据集，标注和预处理数据，并使用神经网络模型进行训练，实现了对抓取姿态和成功概率之间的关系建模。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值