Jacquard_V2数据集(机器人视觉抓取)

目录

简介

Jacquard V1中存在的错误

Jacquard V1 论文和数据集下载网址

利用人在环路数据校正方法改进Jacquard V1数据集

Jacquard V2（我们的）对比Jacquard V1的效果展示

快速使用Jacquard V2数据集

步骤一 环境配置

步骤二 下载数据集

步骤三 编写模型训练程序

步骤四 运行程序

引用我们的论文

---

简介

我们的Jacquard_V2数据集是一个用于机器人视觉抓取任务的数据集，它是Jacquard数据集（为便于区分，后面称为Jacquard V1）的增强版本。该数据集包含11,000个目标物体和51,000张图像。所有图像都具有RGB-D模态。注释包括多种夹爪尺寸、抓取位置和抓取角度。

有关我们Jacquard_V2数据集的更多详细信息请参考论文。

Jacquard V2论文https://arxiv.org/abs/2402.05747

我们已将论文的全部代码开源，请在github或CSDN上进行下载。

Jacquard V2与Jacquard V1的代码运行环境相同，如您已成功使用Jacquard V1数据集，请勿重复配置环境。

github仓库https://github.com/lqh12345/Jacquard_V2

请通过微软云盘或百度云盘下载Jacquard_V2数据集。微软云盘https://entuedu-my.sharepoint.com/personal/shyuan_staff_main_ntu_edu_sg/_layouts/15/onedrive.aspx?id=%2Fpersonal%2Fshyuan_staff_main_ntu_edu_sg%2FDocuments%2FJacquard_V2&ga=1百度网盘https://pan.baidu.com/s/14SIj1jGyMdYjmKPWMI056Q?pwd=1234#list/path=%2F

我们的研究成果已经被2024年机器人领域顶会

ICRA（IEEE International Conference on Robotics and Automation）接收

Jacquard V1中存在的错误

Jacquard V1论文和数据集下载网址

为方便大家查阅对比，附上Jacquard V1的论文和数据集下载网址。

Jacquard V1论文https://arxiv.org/abs/1803.11469

Jacquard V1数据集下载网址https://jacquard.liris.cnrs.fr/

利用人在环路数据校正方法修正数据集

我们利用人在环路数据校正方法修正了Jacquard V1数据集，并将修正后的数据集命名为Jacquard V2。

Jacquard V2（我们的）对比Jacquard V1的效果展示

我们随意抽选了六张图片，来可视化Jacquard V2的改进效果。其中，绿色方框代表Jacquard V1的标注框，红色方框代表Jacquard V2新增的标注框。

第一行和第二行的图片中，Jacquard V2新增了许多不同角度，不同大小的抓取框。

第三行的图片中，Jacquard V2删除了一些错误抓取逻辑的图片。

快速使用Jacquard V2数据集

请按照本节中的说明进行操作。我们将简单介绍快速开始使用Jacquard V2数据集的步骤。

步骤一 环境配置

在使用Jacquard V2数据集之前，请确保您已安装以下依赖项。

• Python 3+
• Pyhton 所需的第三方库可以在 requirements.txt 文件里面查找

如需快速安装依赖项，请在终端里面运行如下代码

pip install -r requirements.txt

步骤二 下载数据集

环境建立成功后，下载数据集。

解压缩所有部分后，数据集的目录结构应如下所示。

数据集结构目录：

${DATASET_ROOT}
|-- JacquardV2_Dataset_0
|   |-- 1a1ec1cfe633adcdebbf11b1629fc16a
|   |   |-- 0_1a1ec1cfe633adcdebbf11b1629fc16a_grasps.txt
|   |   |-- 0_1a1ec1cfe633adcdebbf11b1629fc16a_mask.png
|   |   |-- 0_1a1ec1cfe633adcdebbf11b1629fc16a_perfect_depth.tiff
|   |   |-- 0_1a1ec1cfe633adcdebbf11b1629fc16a_RGB.png
|   |   |-- 0_1a1ec1cfe633adcdebbf11b1629fc16a_stereo_depth.tiff
|   |   |-- 1_1a1ec1cfe633adcdebbf11b1629fc16a_grasps.txt
|   |   |-- 1_1a1ec1cfe633adcdebbf11b1629fc16a_mask.png
|   |   |-- 1_1a1ec1cfe633adcdebbf11b1629fc16a_perfect_depth.tiff
|   |   |-- 1_1a1ec1cfe633adcdebbf11b1629fc16a_RGB.png
|   |   |-- 1_1a1ec1cfe633adcdebbf11b1629fc16a_stereo_depth.tiff
|   |   |-- ...
|   |-- 1a2a5a06ce083786581bb5a25b17bed6
|   |-- ...
|   |-- 1a3efcaaf8db9957a010c31b9816f48b
|   |-- ...
|-- JacquardV2_Dataset_1
|......
|-- JacquardV2_Dataset_2
|......
|-- JacquardV2_Dataset_3
|......

步骤三 编写模型训练程序

在运行之前，请仔细编辑您的代码。

这里只提供了代码的简要示例。有关详细信息，请参考hithub仓库里的train.py。

import torch.optim as optim
from matplotlib import pyplot as plt
from torch.optim.lr_scheduler import ReduceLROnPlateau

# Please add the downloaded Jacquard V2 directory into your python project. 
from jacquard_data import make_dataset, make_dataloader

dataset_root = '/data/JacquardV2_Dataset'  # path will not be same in your server.

train_dataset = make_dataset(dataset_root, config)
val_dataset = make_dataset(dataset_root, config)
train_loader = make_dataloader(train_dataset, is_training=True, **config['train_loader'])
val_loader = make_dataloader(val_dataset, is_training=False, **config['validation_loader'])

# Coding

步骤四 运行程序

现在您可以开始运行程序了。下方是示例命令，具体根据自己的命名进行修改。

cd your_project_dir
// make coding
python your_script_name.py path_to_dataset_dir your_config.yaml

引用我们的论文

如果您发现Jacquard V2数据集及数据校正方法对您的研究有所帮助，请引用我们的论文。感谢您的支持！

@inproceedings{li2024jacquardv2,
  title={Jacquard V2: Refining Datasets using the Human In the Loop Data Correction Method},
  author={Li, Qiuhao  and Yuan, Shenghai},
  booktitle={2024 IEEE International Conference on Robotics and Automation (ICRA)},
  year={2024},
  organization={IEEE}
}