Sim-to-Real Transfer of Robotic Assembly with Visual Inputs Using CycleGAN and Force Control

最新推荐文章于 2024-08-16 18:09:15 发布
最新推荐文章于 2024-08-16 18:09:15 发布
阅读量145 收藏
点赞数
分类专栏： 多模态变形金刚 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44887311/article/details/131788138
版权
文章探讨了深度强化学习在机器人操作中的挑战，特别是样本效率和安全问题。提出了一种结合CycleGAN和力控制转移的域适应方法，以解决模拟与现实之间的差距，从而成功地将训练从模拟环境转移到真实的钉孔组装任务。
摘要由CSDN通过智能技术生成

最近，深度强化学习 (RL) 在机器人操作应用中显示出一些令人印象深刻的成功。然而，由于样本效率和安全性问题，现实世界中的训练机器人并非易事。提出了 Simto-real 传输来解决上述问题，但引入了一个新的问题，称为现实差距。在这项工作中，我们引入了一个用于基于视觉的组装任务的模拟到真实的学习框架，并通过使用单个相机的输入在模拟环境中进行训练来解决上述问题。提出了一种基于周期一致生成对抗网络(CycleGAN)和力控制转移方法的域适应方法来弥合现实差距。我们证明了在模拟环境中训练的所提出的框架可以成功地转移到真正的钉孔设置中
在这里插入图片描述

xwz小王子
关注
专栏目录
Sim-to-Real: Learning Agile Locomotion For Quadruped Robots 笔记
08-04
Sim-to-Real: Learning Agile Locomotion For Quadruped Robots笔记 Sim-to-Real: Learning Agile Locomotion For Quadruped Robots笔记 Sim-to-Real: Learning Agile Locomotion For Quadruped Robots 笔记
《Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics a Survey》阅读笔记
m0_46336633的博客
09-20 2675
链接：https://arxiv.org/pdf/2009.13303.pdf 引用：Zhao W, Queralta J P, Westerlund T. Sim-to-real transfer in deep reinforcement learning for robotics: a survey[C]//2020 IEEE Symposium Series on Computational Intelligence (SSCI). IEEE, 2020: 737-744. 索引次数：25次 关键词
SIRA-PCR: Sim-to-Real Adaptation for 3D Point Cloud Registration 论文解读
人工智能小白
08-16 1019
SIRA-PCR论文解读，FlyingShape数据集，Sim-to-Real自适应如何用来作无监督域适应
【论文】Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience
qq_41614419的博客
12-28 1552
本文主要介绍了对机器手臂动力学参数的分布进行学习，能更有效率的适应真实环境，从而缩小sim to real gap。论文原址： Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience sim to real 问题在强化学习中被广泛研究，目前主要有以下几种研究方向：系统辨识（system identification）、领域适应（domain adaption）、参数随机化（pa.
机器人强化学习——Sim-to-Real Robot Learning from Pixels with Progressive Nets (2017)
千羽的计算机视觉与机器人
06-17 1750
机器人强化学习——Sim-to-Real Robot Learning from Pixels with Progressive Nets (2017)
每天一篇论文 335/365 Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer
流浪机器人的博客
02-25 750
Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer 本文是一篇如何通过对强化学习的环境模型力ide约束来优化强化学习对于从仿真训练到真实模型的差距。 摘要 在现实世界中学习机器人控制策略在数据效率、安全性和控制系统初始状态方面都带来了挑战。另一方面，模拟是一种有用的替代方法，因为它们提供...
System-Control-and-Programming-Industrial-Robotic-for-HWASHI:工业机器人的系统控制和编程（用于和硕）
03-20
Hwashi的Industrial Robotic（工业机器人通用软件）。 这个项目创造了OxideDevX（Anon Sec的旧昵称）。项目目标：创建自己的通用系统来控制工业焊接机器人。该存储库在其内存中存储了后处理器模块和用于对中国Hwashi...
2018-A Survey of Force-Assisted Robotic Cell Microinjection Technologies
03-27
microinjection and robotic cell microinjection with sole position feedback, force-assisted robotic cell microinjection can improve the success rate and survival rate of cell injection. In this paper, ...
Adaptive Finite-time Tracking Control for a Robotic Manipulator with Unknown Deadzone
02-07
Radial basis function neural networks (RBFNNs) are employed to approximate the unknown dynamics and the deadzone effect of actuators. Adaptive finite-time tracking controller is then ...
Open X-Embodiment Robotic Learning Datasets and RT-X Models.pdf
最新发布
09-23
Google DeepMind团队关于人形机器人具身智能模型训练的论文。主要介绍了利用Open X-Embodiment数据集训练的智能模型RT-X，Open X-Embodiment数据集一定程度上解决具身智能模型训练数据多样性的问题。...
Learning end-to-end robotic manipulation of deformable objects
05-16
在本文中，作者Jan Matas在他的MEng Individual Project中，隶属于伦敦帝国理工学院计算机系，研究了如何通过深度强化学习算法对可变形物体进行端到端的机器人操纵。项目由Andrew Davidson指导，Edward Johns作为第...
让机器人从模拟走向现实：李飞飞新作TRANSIC实现这一跨越
soaring_casia的专栏
05-28 1182
该方法尽管在sim-to-real转移方面取得了显著的成果，但仍存在一些限制，需要未来的研究来解决。
（CoRL2020）DIRL: Domain-Invariant Representation Learning Approach for Sim-to-Real Transfer 论文笔记
VioletSaber的博客
12-07 1317
（CoRL2020）DIRL: Domain-Invariant Representation Learning Approach for Sim-to-Real Transfer 论文笔记 本文针对的问题是无监督领域自适应和半监督领域自适应问题。 与传统的对抗领域自适应方法对比，其创新性在于 在对齐边缘概率分布的同时也对齐条件概率分布（虽然感觉现在大家都在对齐条件概率分布，应该不能算新颖了） 使用triplet distribution loss来增大类间方差同时缩小雷内方差 本文上来先阐述对齐条件分
【转载】Sim2Real问题[3]
方小汪的博客
02-18 943
原文链接 原创 Cong Wang 2月17日 微信公众号：robot_learning123 今天来看一篇paper: Setting up a Reinforcement Learning Task with a Real-World Robot, 主要是以UR5为例, 分析了RL在实际机器人task中遇到的问题, 对于研究真机实验有一定的帮助. 作者后续增加了移动机器人和舵机的控制, 发表在...
IsaacGym四足机器人sim to real全过程详细解析（walk these ways方法）
热门推荐
weixin_44061195的博客
10-09 1万+
本文使用强化学习的方法运行到Aliengo机器人上完成从训练到部署的全过程。该方法使用的是GO1机器人提供了完整的sim to real代码和遥控器控制代码，所以我们只需要重新训练和部署健康就可以使用在Aliengo上。该方法使用lcm进行通讯首先程序通过UDP和机器人控制板进行通讯获取机器人状态并下达指令。然后又通过lcm进行机器人状态信息的发布和模型命令的获取。
干货 | 浅谈机器人强化学习--从仿真到真机迁移
小米云技术
02-28 7513
“对于机器人的运动控制，强化学习是广受关注的方法。本期技术干货，我们邀请到了小米工程师——刘天林，为大家介绍机器人（以足式机器人为主）强化学习中的sim-to-real问题及一些主流方法。”一、前言设计并制造可以灵活运动的足式机器人，一直是工程师追逐的梦想。相比于轮式机器人，足式机器人凭借其腿部结构优势可以在离散非连续的路面行走。近年来，足式机器人技术发展迅速，涌现出了许多先进的足式机器人，如波士...
具身智能有哪些细分研究方向？近400篇论文的综述总结！
CV_Autobot的博客
07-27 1473
点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线今天自动驾驶之心为大家分享具身智能的最新综述，可能是有史以来最大最全的综述！！！如果您有相关工作需要分享，请在文末联系我们！自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询>>点击进入→自动驾驶之心『具身智能』技术交流群论文作者|具身智能之心编辑 | 自动...
深度强化学习路在何方
achao的专栏
07-19 7776
一、深度强化学习的泡沫 2015年，DeepMind的Volodymyr Mnih等研究员在《自然》杂志上发表论文Human-level control through deep reinforcement learning[1]，该论文提出了一个结合深度学习（DL）技术和强化学习（RL）思想的模型Deep Q-Network(DQN)，在Atari游戏平台上展示出超越人类水平的表现。自此以后，...
sim2real挑战赛学习资料
05-11
9. Sim-to-Real Transfer of Robotic Control with Deep Reinforcement Learning: This paper proposes a method for Sim2Real transfer of robotic control using deep reinforcement learning and demonstrates ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值