dex-net reading

说明文档:
https://berkeleyautomation.github.io/dex-net/code.html


=======================Dex-Net==========================
Dex-Net 2.0
是一个HDF5文件数据集,包含了1500个物体到模型,平行夹具抓取点,抓取鲁棒性矩阵。

Dex-Net Object Mesh Database v1.1
是物体网格类型文件数据集。

对于Dex-Net 1.0,一个3D物体多视角下拍摄到图片,输入到MV-CNN,输出后得到这是哪个物体,
一张物体图像,用传统方法标记出的抓取点,和力封闭可能性大小标签,考虑到手爪位姿不确定性、物体位姿不确定性,所以然后加了汤姆森采样,得到更新的鲁棒的力封闭可能性大小,按照更低的置信区间最大化进行排序,然后存储到数据库里面,形成了Dex-Net 2.0数据集

Dex-Net 2.0描述的是,将1.0得到到数据集(带抓取点的图片)和深度图像作为GQCNN的输入,输出是抓取质量好坏
用的时候,输入是深度图像,首先需要用传统的方法给出抓取点,然后把它输入GGQCNN得到每个抓取对应的抓取质量好坏,选择最好的质量进行抓取。


=======================INSTALLATION==========================
下载Dex-Net
https://github.com/BerkeleyAutomation/dex-net.git

运行安装文件
在Dex-Net文件夹目录下,打开终端,输入
sudo sh install.sh {cpu|gpu} {python|ros}
其中,cpu|gpu 只出现其一,python|ros 只出现其一,并且不要花括号,如下
sudo sh install.sh cpu python

测试安装
python setup.py test


=======================Overview==========================
运行python脚本
cd /path/to/your/dex-net
python apps/dexnet_cli.py

提示没有模块meshpy,需要进入/deps/meshpy下面安装,再次运行上面到脚本即可

输入0,
然后输入data/examples/example.hdf5


*******Note: databse 和 dataset 的区别:
程序中涉及的变量
database:是HDF5文件,包含物体的mesh,抓取点和抓取质量值。
dataset:是mesh文件


1)Database Manipulation
The Dex-Net CLI(数据集命令行交互)可用于打开、读取、写入3D物体模型、平行夹具抓取、抓取鲁棒性矩阵的HDF5数据集。


2)Point Cloud Dataset Generation
鲁棒的抓取规则是基于GQCNN(抓取质量卷积神经网络)的,对于新鲜物体的抓取规划有用,需要在Dex-Net 2.0数据集上对GQCNN进行训练。


=======================Examples==========================

需要安装mayavi模块,方法:
Mayavi requires at the very minimum the following packages:

        VTK >= 5.0 with Python wrapper
        numpy >= 1.1.1
        setuptools (for installation and egg builds)
        Traits >= 3.0 (Traits, TraitsUI and TraitsBackendWX or TraitsBackendQt, EnthoughtBase, AppTools)


参考帖子:https://stackoverflow.com/questions/41960672/how-to-install-mayavi-trait-backends
The following steps worked for me (in a python2 environment):
conda create -yn mayavitest
source activate mayavitest
conda install -yc menpo mayavi=4.5.0
conda install -y pyside
conda install qt
ETS_TOOLKIT=qt4 python /path/to/mayavi-example.py
结论:测试


运行generate_gqcnn_dataset.py,输入
python tools/generate_gqcnn_dataset.py adv_synth

安装OpenRAVE
https://scaron.info/teaching/installing-openrave-on-ubuntu-16.04.html
https://fsuarez6.github.io/blog/openrave-trusty/
https://fsuarez6.github.io/blog/workstation-setup-xenial/
Boost version: 1.58.0

安装FCL
删除文件命令:sudo rm -rf xx
/home/xiaoqing/anaconda2/lib/python2.7/site-packages/FCL

查看已安装的包:
pip list


在某一目录下递归[所有子目录]查找某一字串:
grep -r “字串” 目录名
就是加一个-r参数,请看man page:
-R, -r, –recursive


===============tensorboard使用=========================================
 执行程序,tensorboard生成可视化
进入linux命令行,运行以下代码,等号后面加上summary日志保存的路径(在程序第一步中就事先自定义了)
tensorboard --logdir=



转载于:https://www.cnblogs.com/USTBlxq/p/9250314.html

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DEX-Net(Dexterity Network)是一种用于机器人抓取训练的方法,它旨在教会机器人如何在复杂的环境中高效地抓取物体。下面是对DEX-Net的详细介绍: 1. 抓取姿态表示:DEX-Net使用一种称为抓取姿态表示的方法来描述抓取物体时的姿态。抓取姿态表示包括物体的3D几何信息和机器人抓取器的状态,例如抓取器的位置、朝向和打开程度等。这个表示可以帮助机器人预测在不同姿态下抓取成功的概率。 2. 数据集收集:为了训练DEX-Net,需要收集大量的数据集来包含各种不同的物体和抓取姿态。通常使用深度相机来获取物体的3D几何信息,并记录机器人执行抓取动作的状态。可以通过人工控制机器人进行抓取或使用自动化方法来生成数据集。 3. 数据标注和预处理:收集到的数据集需要进行标注和预处理。标注包括为每个抓取姿态分配一个二进制标签,表示抓取成功或失败。预处理可能包括将3D几何信息转换为适当的表示形式,例如点云或体素网格。 4. 网络训练:使用标注和预处理后的数据集来训练神经网络模型。通常使用深度学习方法,如卷积神经网络(CNN)或递归神经网络(RNN),来学习抓取姿态表示与抓取成功概率之间的关系。训练过程中,优化算法将调整网络参数以最大化预测的准确性。 5. 抓取规划:训练完成后,可以使用训练好的模型来进行抓取规划。机器人可以通过查询模型来预测不同姿态下的抓取成功概率,并选择具有最高成功概率的抓取姿态进行执行。 总的来说,DEX-Net是一种基于深度学习的方法,用于训练机器人在复杂环境中进行高效抓取。它通过收集大量数据集,标注和预处理数据,并使用神经网络模型进行训练,实现了对抓取姿态和成功概率之间的关系建模。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值