论文解析 - 突破物理限制：基于对比学习的机器人灵巧操作Sim2Real方案

最新推荐文章于 2025-03-24 07:31:15 发布
最新推荐文章于 2025-03-24 07:31:15 发布
阅读量171 收藏
点赞数
分类专栏： VLA 具身智能 人工智能 文章标签： 学习 人工智能 具身智能 机器人 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fx_demon/article/details/146137039
版权

 

文章 《Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids》 的核心内容可总结如下：

研究目标

提出一种基于仿真到现实（Sim-to-Real）强化学习（RL）的框架，使 人形机器人 通过视觉输入实现灵巧操作任务 （如双手机械抓取、提升、传递等），并解决真实场景中数据稀缺、安全性及泛化能力的挑战。

方法与技术亮点

  1. 视觉驱动的强化学习 采用摄像头图像作为唯一输入 ，避免依赖精确的物体姿态或触觉传感器。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Ubuntu之Sim2Real环境配置（坑居多）
m0_74081875的博客
12-04 2719
突然能了我去，差点花100在淘宝买服务 ，好像只有确认是否安装后输入检查命令才能生效,突然发现我输入的是navidia-smi不是navidia-rmi所以才有表格...又是这样，只显示两个相机,然后我跟着我上面的步骤重新单独输出三个相机了，然后再尝试同时输出三个相机，用的还是之前的roscore，报错了，也还是只有两个相机，还看不见。我先从相机初始化开始跟着步骤，发现没有画面，只能从头来了，但是！在b站上看到了一个教程是从软件和更新里面重启的，但是我的附加驱动找不到了。我只能重新一个一个试单独的画面了！
Sim-to-Real: Learning Agile Locomotion For Quadruped Robots 笔记
08-04
Sim-to-Real: Learning Agile Locomotion For Quadruped Robots笔记 Sim-to-Real: Learning Agile Locomotion For Quadruped Robots笔记 Sim-to-Real: Learning Agile Locomotion For Quadruped Robots 笔记
UC Berkeley最新！将sim-to-real的强化学习应用于视觉人形机器人灵巧操作！
最新发布
CV_Autobot的博客
03-24 346
Tony 等，2024）。在机器人应用场景中，还面临环境建模不精确的难题，难以准确模拟现实环境的复杂性，以及奖励函数设计困难的问题，难以制定合理有效的奖励机制引导智能体学习，同时在高维动作和感知空间中探索效率较低，学习过程缓慢。具体来说，先从制造商提供的机器人模型文件出发，随机采样参数组合初始化多个模拟环境，接着在真实机器人硬件和模拟环境中并行执行关节位置目标的校准序列，通过比较跟踪误差，选择能最小化均方误差的参数集，从而优化机器人和环境的建模，减少手动调优的工作量，提高仿真与现实的契合度。
Sim-to-Real Transfer of Robotic Assembly with Visual Inputs Using CycleGAN and Force Control
weixin_44887311的博客
07-18 210
然而，由于样本效率和安全性问题，现实世界中的训练机器人并非易事。提出了 Simto-real 传输来解决上述问题，但引入了一个新的问题，称为现实差距。在这项工作中，我们引入了一个用于基于视觉的组装任务的模拟到真实的学习框架，并通过使用单个相机的输入在模拟环境中进行训练来解决上述问题。提出了一种基于周期一致生成对抗网络(CycleGAN)和力控制转移方法的域适应方法来弥合现实差距。我们证明了在模拟环境中训练的所提出的框架可以成功地转移到真正的钉孔设置中。
【Sim2real】Sim-to-Real Transfer of Robotic Control with Dynamics Randomization（动态随机化的机器人控制）
apple_63713858的博客
07-11 2317
sim2real是为了减少或消灭模拟与现实的差距（reality gap），本篇论文主要是通过随机化模拟器动态特性（Dynamics Randomization）来弥合这种“现实差距”的方法。这种适应性使策略能够推广到现实世界的动态，而无需对物理系统进行任何培训。
《Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics a Survey》阅读笔记
m0_46336633的博客
09-20 3871
链接：https://arxiv.org/pdf/2009.13303.pdf 引用：Zhao W, Queralta J P, Westerlund T. Sim-to-real transfer in deep reinforcement learning for robotics: a survey[C]//2020 IEEE Symposium Series on Computational Intelligence (SSCI). IEEE, 2020: 737-744. 索引次数：25次 关键词
【论文】Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience
qq_41614419的博客
12-28 1697
本文主要介绍了对机器手臂动力学参数的分布进行学习，能更有效率的适应真实环境，从而缩小sim to real gap。论文原址： Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience sim to real 问题在强化学习中被广泛研究，目前主要有以下几种研究方向：系统辨识（system identification）、领域适应（domain adaption）、参数随机化（pa.
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
热门推荐
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
干货 | 浅谈机器人强化学习--从仿真到真机迁移
小米云技术
02-28 8948
“对于机器人的运动控制，强化学习是广受关注的方法。本期技术干货，我们邀请到了小米工程师——刘天林，为大家介绍机器人（以足式机器人为主）强化学习中的sim-to-real问题及一些主流方法。”一、前言设计并制造可以灵活运动的足式机器人，一直是工程师追逐的梦想。相比于轮式机器人，足式机器人凭借其腿部结构优势可以在离散非连续的路面行走。近年来，足式机器人技术发展迅速，涌现出了许多先进的足式机器人，如波士...
[论文阅读] CyberDemo: Augmenting Simulated Human Demonstration for Real-World Dexterous Manipulation
qq_33673253的博客
04-20 896
cyberdemo，这是一种新的机器人模仿学习方法，它利用模拟人类演示 simulated human demonstrations来完成真实世界的任务。通过在模拟环境中结合广泛的数据增强，cyberdemo在转移到现实世界时，处理不同的物理和视觉条件，优于传统的领域内真实世界演示。对以前未见的对象表现出可推广性首先，我们在模拟环境（蓝色区域）中收集人类演示，然后在模拟器（黄色区域）中进行广泛的数据扩充。然后，在增强数据上训练并在一些真实数据上微调的模仿学习模型可以部署在真实的机器人上。
沉浸式遥操作示教的机器人模仿学习
weixin_44887311的博客
07-11 1084
更重要的是，Quest 2 的 API 接口允许创建自定义的混合现实世界，将机器人系统与 VR 中的诊断面板一起可视化。在这个虚拟世界中，教师可以从机器人的眼睛中查看机器人「看到」的场景，并通过内置的姿势检测器控制 Allegro 机械手。由于该研究提出的策略是基于视觉的，并且不需要明确估计对象的状态，因此它们能与训练中未见过的对象兼容。为了选择获得低维嵌入的学习算法，该研究尝试了几种最先进的自监督学习算法，发现 BYOL 提供了最好的最近邻结果，因此选择 BYOL 作为基本的自监督学习方法。
sim2real2sim_rad
05-19
自动调整的模拟到真实传输 IEEE ICRA 2021论文《自动调整的模拟到真实的传输》的官方资料库。 该论文将很快在arXiv上发布。 该存储库是从代码库派生的。 安装 如果尚未安装，请安装mujoco。 将此添加到bashrc中： export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/olivia/.mujoco/mujoco200/bin 安装以下软件包： sudo apt-get install libosmesa6-dev sudo apt-get install patchelf 所有依赖项都在conda_env.yml文件中。 它们可以手动安装，也可以使用以下命令安装： conda env create -f conda_env.yml 进入环境目录并运行 pip install -e . 指示 这是示例实验运行命令。
强化学习中 Sim-to-Real 方法综述：基础模型的进展、前景和挑战
yorkhunter的博客
03-03 1099
25年2月来自 Arizona State U 的论文“A Survey of Sim-to-Real Methods in RL: Progress, Prospects and Challenges with Foundation Models”。 深度强化学习 (RL) 已被探索并证实可有效解决机器人、交通、推荐系统等各个领域的决策任务。它从与环境的交互中学习，并使用收集的经验更新策略。然而，由于现实世界数据有限，采取有害行动的后果难以承受，RL 策略的学习主要局限于模拟器中。
每天一篇论文 335/365 Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer
流浪机器人的博客
02-25 797
Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer 本文是一篇如何通过对强化学习的环境模型力ide约束来优化强化学习对于从仿真训练到真实模型的差距。 摘要 在现实世界中学习机器人控制策略在数据效率、安全性和控制系统初始状态方面都带来了挑战。另一方面，模拟是一种有用的替代方法，因为它们提供...
我们提出了Sim2Real 2，一种用于精确关节物体操纵的机器人学习框架。
强化学习曾小健
08-26 489
准确操纵铰接式物体对于实际的机器人应用来说是一项具有挑战性但又重要的任务。在本文中，我们提出了一种名为 Sim2Real 2的新框架，使机器人能够在现实世界中将看不见的铰接式物体精确地操纵到所需状态，而无需人工演示。我们利用物理模拟和基于学习的感知方面的最新进展来构建物体的交互式显式物理模型，并使用它来规划。然而，从静态观察中无法正确估计交互式模型。因此，我们学习从单帧点云预测物体的可供性，控制机器人通过一步动作主动与物体交互，并捕获另一个点云。实验结果表明，我们的框架实现了大约 70% 的操纵，相对。
机器人强化学习——Sim-to-Real Robot Learning from Pixels with Progressive Nets (2017)
千羽的计算机视觉与机器人
06-17 1942
机器人强化学习——Sim-to-Real Robot Learning from Pixels with Progressive Nets (2017)
sim2real是什么意思呢？
weixin_43501408的博客
11-19 1086
Sim2Real” 是 “Simulation - to - Reality” 的缩写，意思是 “从模拟到现实”。sim2real是什么意思呢？
【转载】Sim2Real问题[3]
方小汪的博客
02-18 1053
原文链接 原创 Cong Wang 2月17日 微信公众号：robot_learning123 今天来看一篇paper: Setting up a Reinforcement Learning Task with a Real-World Robot, 主要是以UR5为例, 分析了RL在实际机器人task中遇到的问题, 对于研究真机实验有一定的帮助. 作者后续增加了移动机器人和舵机的控制, 发表在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天机️灵韵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值