GRCNN抓取网络学习4【手眼标定】

已于 2024-06-16 10:42:13 修改
阅读量1.9k 收藏 7
点赞数 1
分类专栏： # Ubuntu学习 # UR机械臂 文章标签： 相机标定 UR机器人 眼在手上python程序
于 2023-09-10 05:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vor234/article/details/132757243
版权
本文详细介绍了手眼标定的概念，包括相机坐标系与机器人坐标系之间的转换，区分了眼在手外和眼在手上的两种情况。通过理论推导、实验分析和依赖程序，阐述了这两种标定方法，并提供了Python程序，帮助理解手眼标定在工业机器人视觉抓取中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

GRCNN抓取网络学习4【手眼标定两种方法】


请先完成 【机械臂视觉抓取从理论到实战】，这样有利于下面操作的理解！
然后第二步是 GRCNN抓取网络1【Jacquard数据集等效抓取集制作】，有了自己的数据集输入到GRCNN中是三种文件。那么可以GRCNN抓取网络学习2【自制Jacquard数据集训练】！既然学会训练，那么开展下一步计划模型调优 GRCNN抓取网络学习3【自制Jacquard数据集模型调优】。深度理解手眼标定《眼在手上》《眼在手外》两种方法，开始了GRCNN抓取网络学习4【手眼标定】。

完整UR机械臂的GRCNN抓取网络教程参考以下博客：
【眼在手外D435相机支架】
0. 【机械臂视觉抓取从理论到实战】

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【机械臂视觉抓取从理论到实战】
vor234的博客
10-23 3599
首先声明一下，此项目是参考B站哈萨克斯坦UP的【机械臂视觉抓取从理论到实战】 此内容为他研究生生涯的阶段性成果展示和技术分享，所有数据和代码均开源。所以鹏鹏我特此来复现一下，我采用的硬件与之有所不同，UP主使用UR5，我实验室采用的是UR3，下面列出相关材料 UR3CB3.12:https://www.universal-robots.cn/cb3/ 【UR3系统升级到CB3.12附带URcap1.05】硬件支持代码支持 jacquard数据集：https://pan.baidu.com/s/1524HrV
GRCNN抓取网络学习1【Jacquard数据集等效制作】
vor234的博客
08-26 6938
首先了解Jacquard数据集的参数组成通过上面的步骤可以获取自己抓取数据集，输入到GRCNN中是三种文件grasps.txtRGB.png接下来会教大家如何训练自己的GRCNN网络啦！参考文献：pybullet GGCNN数据集制作。
基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）
12-30
基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目），含有代码注释，满分大作业资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为课程设计期末大作业使用，该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源码+项目说明（高分项目）基于GRCNN的机械臂视觉平面抓取python源
pybullet平面抓取算法介绍以及GGCNN网络结构（二）
weixin_50920579的博客
05-16 1万+
目录 基于深度学习的平面抓取算法 二指机械手抓取模型 平面抓取： 平面抓取第一种模型 平面抓取第二种模型 平面抓取检测与神经网络结构 端到端 先采样后评估 平面抓取检测数据集 基于深度学习的平面抓取算法 二指机械手抓取模型 标红字体为任务场景 平面抓取： 使机械抓手在x和y轴的转角设置为已知的定值（其实就是设置为初始值） 即roll和pitch为定值 那么剩下的就是获取抓取点的x,y值 以及沿着z轴方向的值 这样就是完整的抓取位姿 也是神经网络实际输出的....
机器人抓取（六）—— 抓取点检测（抓取位姿估计） gqcnn代码测试与解读
zxxRobot的博客
05-21 1万+
grasp detection 两个开源工作做得比较好的二维平面抓取点检测项目。 gcnn, 文档 GR-ConvNet 1. gcnn 文档 1.1 ros安装 cd catkin_workspace/src git clone https://github.com/BerkeleyAutomation/gqcnn.git cd gqcnn pip install . # 该安装方法很有可能不成功，可以找到gpu_requirements.txt文件，逐个安装。pip不成可尝试conda # ca
手眼标定数据集
m0_38139098的博客
04-22 1066
Robotics相关工作没有硬件的条件下如何是好？ 固然我们可以使用仿真环境Gazebo、Vrep等等… 再说就啰嗦了 给出链接 https://projects.asl.ethz.ch/datasets/doku.php?id=handeyecalibration2017 ...
GRCNN: Graph Recognition Convolutional Neural Network for Synthesizing Programs from Flow Charts
weixin_47277897的博客
02-15 2729
GRCNN：从流程图中合成程序的图识别卷积神经网络 论文使用了一种新型的卷积神经网络，从图像中识别图结构。对GRCNN进行端到端训练，可以同时预测流程图的边缘信息和节点信息。实验表明，合成一个程序的准确率为66.4%，识别边缘和节点的准确率分别为94.1%和67.9%。平均而言，合成一个程序大约需要60毫秒。 为什么提出这个框架？ 要合成一个程序，必须提供规范。形式语言的规范可以准确地表示用户的意图，并用于演绎程序综合[3]。然而，很少有人拥有正式语言的知识...
手眼标定资料汇总
biersibao的博客
01-16 220
Matlab中一些比较好的ToolBox汇总。 1.摄像机Camera Calibration Toolbox 用的比较多的California Institute of Technology的Camera Calibration Toolbox for Matlab http://www.vision.caltech.edu/bouguetj/calib_doc/ 有几篇中文博客，第一篇...
手眼标定源数据（棋盘格+Excel）
gitblog_09734的博客
09-05 423
手眼标定源数据（棋盘格+Excel） data_handeye.rar项目地址:https://gitcode.com/open-source-toolkit/8b1a2 概述 本仓库提供了用于机器人视觉手眼标定的重要资源，特别适用于那些需要精确协调机器人末端执行器（手）与摄像头（眼）的应用场景。手眼标定是机器人技术中的关键步骤，确保机器人能够基于摄像头捕捉到的图像信息准确地计算出目标的位置和姿...
线激光手眼标定
antonw163com的博客
06-21 6072
这篇文章聚焦于激光视觉传感器的构成和与焊接机器人之间的标定算法。研究的核心在于手眼标定，通过传感器与六自由度工业机器人的组合形成Eye-in-Hand系统。通过手眼标定，可以获得激光平面坐标系与法兰盘坐标系之间的齐次变换矩阵，从而将激光平面坐标系下的坐标值转换到机器人基坐标系下。这样，我们可以通过像素坐标值计算出特征点在机器人基坐标系下的坐标值。标定的精度直接影响着焊缝跟踪实验的准确性，因此标定算法是后续进行焊缝跟踪的基础。
基于python实现的GRCNN的机械臂视觉平面抓取
04-22
Requirements numpy opencv-python matplotlib scikit-image imageio torch torchvision torchsummary tensorboardX pyrealsense2 Pillow Installation Create a virtual environment $ python3.6 -m venv --system-site-packages venv Source the virtual environment $ source venv/bin/activate Install the requirements $ cd robotic-grasping $ pip install -r requirements.txt
机器视觉手眼标定详解，有用
03-14
目录 1. 相机固定不动 , 上往下看 引导 机器人 移动 2. 相机固定不动 , 下往上看 3. 相机固定在器人上 相机固定在器人上 ，离旋转中心较近 离旋转中心较近 离旋转中心较近 4. 相机固定在器人上 相机固定在器人上 ，离旋转中心 旋转中心 很远 5. 特殊固定方式 – 分离轴
机械臂手眼标定
04-23
基于halcon的机器人手眼标定资料，欢迎下载，，，，，
机器人手眼标定matlab程序（AX=XB方法）
05-17
首先使用matlab可以较快实现，验证选定方法及推导过程的正确性。使用matlab随意建立一个机器人，设定好相机坐标系和标定板坐标系。然后采集不同位姿下，机器人末端在基坐标的位姿T_b_t，标定板坐标系在相机坐标系下的位姿T_c_cal。然后计算相机坐标系相对于机器人基础的位姿。
面向焊缝跟踪的线激光检测技术研究(手眼标定）
01-14
从原理上介绍六轴机器人与CCD的手眼标定，包括推导过程、标定步骤、误差分析比较。学术论文。
GRCNN抓取网络学习2【自制Jacquard数据集训练】
vor234的博客
09-01 1955
请先完成【机械臂视觉抓取从理论到实战】，这样有利于下面操作的理解！然后第二步是GRCNN抓取网络1【Jacquard数据集等效抓取集制作】，有了自己的数据集输入到GRCNN中是三种文件，接下来就是准备训练GRCNN网络啦！grasps.txtRGB.png本文帮大家根据自制Jacquard数据集训练GRCNN抓取网络，其中包含数据格式的对齐，列举了常见的几种训练方法，相信能坚持到这里的都应该试试顺利了吧！接下来会针对GRCNN调优，期待一下下吧，那就别宁色你的三连。
GRCNN抓取网络学习3【自制Jacquard数据集模型调优】
vor234的博客
09-01 1892
请先完成，这样有利于下面操作的理解！然后第二步是，有了自己的数据集输入到GRCNN中是三种文件，那么可以GRCNN抓取网络学习2【自制Jacquard数据集训练】！既然学会训练，那么开展下一步计划模型调优。GRCNN源码：https://github.com/skumra/robotic-grasping。
相机校准、数据收集、手眼标定和保存结果
weixin_68067302的博客
12-04 869
file_path = filedialog.asksaveasfilename(defaultextension=".txt", filetypes=[("文本文件", "*.txt")])ttk.Button(self.root, text="开始相机校准", command=self.start_camera_calibration).pack(pady=5)ttk.Label(self.root, text="步骤4：保存变换矩阵").pack(pady=5)
OpenCV手眼标定（calibrateHandeye()）
热门推荐
hello
03-11 5万+
文章目录说明Code实验效果参考 说明 Code #include <opencv2/opencv.hpp> #include <iostream> #include <math.h> using namespace std; using namespace cv; Mat R_T2HomogeneousMatrix(const Mat& R, co...
grcnn模型网络
最新发布
03-30
### GRCNN 模型概述 GRCNN（Graph Recurrent Convolutional Neural Network）是一种结合了图神经网络（GNN）和循环神经网络（RNN）的混合架构，旨在解决具有复杂关系的数据建模问题。它通过引入图结构来捕捉节点之间的依赖关系，并利用 RNN 来处理序列化信息[^2]。 以下是关于 GRCNN 模型的核心组成部分及其实现方式： --- ### 图卷积层的设计 GRCNN 中的关键部分之一是 **图卷积操作**，该操作允许模型在图结构上执行特征提取。具体来说，图卷积通过对邻接矩阵 \( A \) 和特征矩阵 \( X \) 进行运算，从而更新每个节点的状态。这一过程可以表示为以下公式： \[ H^{(l+1)} = \sigma(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}) \] 其中： - \( H^{(l)} \) 表示第 \( l \)-th 层的隐藏状态； - \( \tilde{A} = A + I_N \)，\( I_N \) 是单位矩阵； - \( \tilde{D}_{ii} = \sum_j \tilde{A}_{ij} \) 是度矩阵； - \( W^{(l)} \) 是可训练权重参数； - \( \sigma \) 是激活函数。 这种设计使得 GRCNN 能够有效捕获节点间的局部连接模式。 --- ### 循环机制的应用 为了进一步增强模型的能力，GRCNN 集成了 **循环单元**，用于处理动态变化的关系或时间序列数据。通常情况下，这可以通过 LSTM 或 GRU 结构实现。假设当前时刻的输入为 \( h_t \)，则其更新规则如下所示： #### 更新门计算 \[ z_t = \sigma(W_z h_{t-1} + U_z x_t) \] #### 重置门计算 \[ r_t = \sigma(W_r h_{t-1} + U_r x_t) \] #### 候选隐状态计算 \[ \tilde{h}_t = \tanh(W_h (r_t \odot h_{t-1}) + U_h x_t) \] #### 当前隐状态更新 \[ h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t \] 上述公式展示了如何将历史信息与新输入相结合，从而使模型能够适应复杂的时空场景。 --- ### 实现中的注意事项 在实际部署过程中，开发者需要注意以下几个方面： 1. **图构建方法的选择** 输入数据需转换成适合图分析的形式。例如，在自然语言处理任务中，句子可以被视作词共现图；而在推荐系统中，则可能采用用户-物品交互图。 2. **正则化策略** 为了避免过拟合现象发生，建议加入 dropout 技术或者 L2 正则项约束权值大小[^1]。 3. **优化器配置** Adam、SGD 等常用梯度下降算法均可应用于此情境下。不过需要调整初始学习率以及衰减因子以获得最佳性能表现。 4. **硬件资源需求** 如果涉及大规模稀疏矩阵乘法运算，则 GPU 加速会显著提升效率。 ```python import torch from torch_geometric.nn import GCNConv, GatedGraphConv class GRCNN(torch.nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers=2): super(GRCNN, self).__init__() # 定义GCN层 self.gcn_conv = GCNConv(input_dim, hidden_dim) # 定义GRU层 self.gru_cell = torch.nn.GRUCell(hidden_dim, hidden_dim) # 输出层映射到目标维度 self.linear_out = torch.nn.Linear(hidden_dim, output_dim) def forward(self, data): x, edge_index = data.x, data.edge_index # 应用图卷积 x = torch.relu(self.gcn_conv(x, edge_index)) # 初始化隐藏状态 h = torch.zeros_like(x[:, :self.gru_cell.hidden_size]) # 时间步迭代 for t in range(data.num_time_steps): h = self.gru_cell(x[t], h) out = self.linear_out(h) return out ``` ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

2345VOR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值