【转载】Sim2Real问题[3]

最新推荐文章于 2024-06-13 12:29:11 发布
最新推荐文章于 2024-06-13 12:29:11 发布
阅读量859 收藏 3
点赞数 1
分类专栏： ROBOT LEARNING
原文链接：https://mp.weixin.qq.com/s/bAZJ7RQEtNGeKWbe3gKZag
版权

原文链接
原创 Cong Wang
2月17日
微信公众号：robot_learning123

今天来看一篇paper: Setting up a Reinforcement Learning Task with a Real-World Robot, 主要是以UR5为例, 分析了RL在实际机器人task中遇到的问题, 对于研究真机实验有一定的帮助. 作者后续增加了移动机器人和舵机的控制, 发表在CoRL2018 Benchmarking Reinforcement Learning Algorithms on Real-World Robots. 不过今天主要看第一篇, 因为里面有很多与机械臂相关的分析(其实是因为我在用UR5啊~).

Kindred公司

Kindred是一家成立于2014年的公司, 致力于AI-Powered Robots, 也算是产学研结合了. 具体感兴趣的可以去了解一下, 几个官网的视频（稍有不同，具体参见原文）

Kindred 公司的 Robots（1）

Kindred 公司的 Robots（2）

Paper概述

一个好的Benchmark对于一个领域的发展能够起到积极的促进作用, 比如CV中的ImageNet, RL中的OpenAI Gym. 同台竞技, 八仙过海, 各显神通. 但是, 当前RL在应用到真实世界机器人时是缺乏有效的guidelines, 所以作者采用UR5开发了一个直接在真实世界进行学习的task, 希望能够成为一个通用的benchmark. 该task也不复杂, 模仿的是Gym Reacher, 包括2D的Reacher task和3D的Reacher task, 就是让UR5末端到达工作空间内一个指定的目标点.
在这里插入图片描述
Task: UR-Reacher-2
在这里插入图片描述
Task: UR-Reacher-6

UR5 Reacher Task

UR5是一个轻量级的协作型机械臂, 底层控制器是URControl, 可以通过TCP/IP进行通讯, 通过脚本URScript进行编程控制, 实时通讯的周期是8ms, 也就是125Hz. 每一个数据packet包含所有关节的位置, 速度, 加速度, 电流. URScript中的servoj提供位置控制, speedj提供速度控制, 没有力矩控制.
Task中的状态空间包括:

  • joint angles

  • joint velocities

  • vector difference between the target and the fingertip coordinates

  • previous action (be helpful for learning in systems with delay)

    奖励函数: , 其中是target与fingertip之间的Euclidean distance. 每一个episode的时间是4s. 另外定义了fingertip的有效工作空间, 目标位置也是随机在里面进行选取.

关键因素分析

下面就是分析几个在仿真中不太关注, 但是在真实机器人上比较重要的因素.

1. Concurrency, ordering and delays of computations

在仿真中, agent与environment之间的计算同步一般都不是问题, 但是真实世界就不一样了. 下图是仿真与真实世界的RL流程. 真实机器人上agent获得机器人的状态反馈通常都会有延时, 这对于agent的学习和机器人的控制都会有一定的影响. 作者将task的实现分成两部分: robot communication process和reinforcement learning process. Robot部分又分成sensor thread和actuator thread两个独立线程, 以8ms的时间周期运行. RL部分也是分成两个线程, learning update和action有一定的独立性, 和仿真相区别.
在这里插入图片描述

2. The medium of data transmission

作者通过测试发现, 有线TCP/IP连接的8ms周期实际值是[7.8,8.6]ms, 而如果换成无线的WiFi连接, 则变成[0.2,127]ms.
在这里插入图片描述

3. The rate of sending actuation commands to the Robot

不同机器人的控制方式不同, UR5 Reacher中选择默认的8ms.

4. The action cycle time

action cycle time, 也即time-step duration, 就是agent策略更新相邻两个action序列之间的时间. 选择一个合适的时间并不是显而易见的, 文献中也没有很多可供参考的内容. 太长或者太短的周期都可能会有问题, 作者针对这个任务选择的周期是40ms, 并且对不同长短时间周期的影响进行了比较.
5. The action space: position vs velocity control

真实世界的action space选择是比较困难的, 因为一般机器人在设计的时候并没有考虑learning这个过程. 很多仿真中的机器人会选择力矩作为action, 实际的UR5可以以8ms的周期发送位置或者速度指令进行控制. 直接位置控制存在一些问题, 因为policy初始阶段随机生成的动作可能导致运动不连续或急停等, 而速度控制就会平滑很多. 因此选择速度控制作为baseline, 平滑后的位置控制作为对比. 此处速度限制为[-0.3,+0.3] rad/s, 加速度限制为1.4 rad/s2. 位置控制需要平滑两次才能避免大的抖动. 下图实验也表明速度控制与电机的反馈信号相关性比位置控制要好.
在这里插入图片描述

实验对比

下图就是不同因素对学习过程的影响. 作者认为, 系统延时和action space的选择对learning性能的影响最大, action cycle time相对较小.
在这里插入图片描述

结论

作者最后得出来的几条结论, 有助于指导我们的实验:

  • System delays occurring in different computational stages are generally detrimental to learning. Consequently, wired communications are preferable to the wireless ones. (有线优于无线)

  • Too small action cycle times make learning harder. Too long action cycle times also impede performance as they reduce precision and cause slow data collection. (选择合适的动作时间周期)

  • Choosing action spaces where actions are applied more directly to the robot makes learning easier by having more direct relationships with future observations. (尽量选择对状态影响比较直接的action space)

  • Due to reduced delays, some concurrent computations are preferable to sequential computations of conventional simulated tasks. (对RL过程合理划分, 降低延时)

资源

Code: https://github.com/kindredresearch/SenseAct
Paper: https://arxiv.org/pdf/1803.07067.pdf

方小汪
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sim2Real学习总结：A Short Survey
平平无奇小天才的博客
12-06 1182
Sim2Real学习总结：A Short Survey
sim2real2sim_rad
05-19
自动调整的模拟到真实传输 IEEE ICRA 2021论文《自动调整的模拟到真实的传输》的官方资料库。 该论文将很快在arXiv上发布。 该存储库是从代码库派生的。 安装 如果尚未安装，请安装mujoco。 将此添加到bashrc中： export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/olivia/.mujoco/mujoco200/bin 安装以下软件包： sudo apt-get install libosmesa6-dev sudo apt-get install patchelf 所有依赖项都在conda_env.yml文件中。 它们可以手动安装，也可以使用以下命令安装： conda env create -f conda_env.yml 进入环境目录并运行 pip install -e . 指示 这是示例实验运行命令。
FOTS:一种用于机器人操作技能Sim2Real学习的快速光学触觉仿真器
weixin_44887311的博客
05-14 824
如下图所示，考虑与法向（Normal）、切向（Shear）和扭转（Twist）负载相对应的三种类型的锚点运动，分别建模不同负载下的锚点位移分布函数，然后将它们组合起来模拟总体的锚点运动。（1）光照仿真：基于传感器涂层膜的反射光均匀分布、阴影仅取决于局部表面法线的假设，使用多层感知器（Multi-Layer Perceptron，MLP）通过将接触几何梯度映射到光照强度来模拟传感器的光学信号，即利用从一个触觉传感器的弹性体表面生成的高度图，能够根据每个点的表面法线推导出触觉图像的光照强度。
《Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics a Survey》阅读笔记
m0_46336633的博客
09-20 1958
链接：https://arxiv.org/pdf/2009.13303.pdf 引用：Zhao W, Queralta J P, Westerlund T. Sim-to-real transfer in deep reinforcement learning for robotics: a survey[C]//2020 IEEE Symposium Series on Computational Intelligence (SSCI). IEEE, 2020: 737-744. 索引次数：25次 关键词
【转载】Sim2Real问题[1]
方小汪的博客
02-18 2036
原文链接 原创 Cong Wang Robot Learning 1月30日 微信公众号：robot_learning123 Sim2Real 问题是比较难的, 也是目前制约learning-based method在机器人上应用的一个重要原因, 近几年机器人领域的顶会都有相关的workshop进行讨论. 仿真环境中的机器人建模, 例如URDF模型, 其动力学模型一般都是3D模型的简化, 肯定...
Sim-to-Real: Learning Agile Locomotion For Quadruped Robots 笔记
08-04
Sim-to-Real: Learning Agile Locomotion For Quadruped Robots笔记 Sim-to-Real: Learning Agile Locomotion For Quadruped Robots笔记 Sim-to-Real: Learning Agile Locomotion For Quadruped Robots 笔记
【转载】Sim2Real问题[2]
方小汪的博客
02-18 847
原文链接 原创 Cong Wang 2月5日 微信公众号：robot_learning123 OpenAI 2017年有一个blog Better Exploration with Parameter Noise[1] (对应paper[2]), 介绍在RL中添加parameter noise的问题, 虽然并没有说sim2real, 但是和sim2real过程有相似之处. 正如上一篇Sim2Rea...
sim2real4real:^
03-11
基于图像的RL与Asym Actor评论家这是DDPG +和的pytorch实现要求Python= 3.6 openai-gym（支持mujoco200） mujoco-py最新版本pytorch最新版本mpi4py最新版本指令运行代码run2.sh，run.sh和run3.sh文件由运行各种模型...
Deep_Sim2Real
03-10
Deep_Sim2Real
"Sim-to-Real: Learning Agile Locomotion For Quadruped Robots"代码
02-09
本文将深入探讨"Sim-to-Real: Learning Agile Locomotion For Quadruped Robots"这一主题，主要基于提供的代码库sim2real_code，来阐述如何通过模拟训练实现四足机器人的敏捷行走。 一、四足机器人敏捷行走的挑战 ...
"Sim-to-Real: Learning Agile Locomotion For Quadruped Robots"环境
01-25
资源来源：https://github.com/bulletphysics/bullet3/tree/master/examples/pybullet/gym/pybullet_envs/minitaur/envs 对源文件进行了些整理，并添加了requirements.txt文件，课运行
【论文】Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience
qq_41614419的博客
12-28 1405
本文主要介绍了对机器手臂动力学参数的分布进行学习，能更有效率的适应真实环境，从而缩小sim to real gap。论文原址： Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience sim to real 问题在强化学习中被广泛研究，目前主要有以下几种研究方向：系统辨识（system identification）、领域适应（domain adaption）、参数随机化（pa.
每天一篇论文 335/365 Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer
流浪机器人的博客
02-25 690
Modelling Generalized Forces with Reinforcement Learning for Sim-to-Real Transfer 本文是一篇如何通过对强化学习的环境模型力ide约束来优化强化学习对于从仿真训练到真实模型的差距。 摘要 在现实世界中学习机器人控制策略在数据效率、安全性和控制系统初始状态方面都带来了挑战。另一方面，模拟是一种有用的替代方法，因为它们提供...
机器人强化学习——Sim-to-Real Robot Learning from Pixels with Progressive Nets (2017)
千羽的计算机视觉与机器人
06-17 1557
机器人强化学习——Sim-to-Real Robot Learning from Pixels with Progressive Nets (2017)
讲座笔记：视觉-语言导航新进展：Pre-training与Sim2Real
zp_jlu的博客
04-28 460
①Pre-training：探索order与history在预训练中的作用②Sim2Real：减小离散环境和连续环境之间的gap
sim2real环境配置教程
weixin_50340097的博客
07-02 1481
由于官方提供的docker镜像地址源在国外，下载速度很慢，因此这里为提前将对应的服务端和客户端镜像都上传到了阿里云，先将镜像tar包下载到本地，在下载tar包的时候可以一边完成下面的操作。sim2real官方安装教程 按照官方教程安装即可，这里说一下几个要点:主要是宿主机操作这一步骤存在较多差异，请主要参考本文档首先将启动脚本下载到本地，然后按照官方的提示文档安装:启动脚本如图注意宿主机操作的第二步操作[]这一步有坑,请按照我给的视频进行安装:注意宿主机操作的第五步操作[]，这里的话的操作步骤如下:进入到如
ICRA 2024：基于视觉触觉传感器的物体表⾯分类的Sim2Real双层适应⽅法
最新发布
weixin_44887311的博客
06-13 848
虽然本⽂的⽅法在减少 Sim2Real 的域差异和提⾼物体表⾯分类与 6D 物体姿态估计的准确性⽅⾯表现出了显著优势，作者认为仍然存在 2 个⽅⾯的不⾜DIGIT传感器的弹性体需要适度的⼒才能突出表⾯差异。本⽂的⽅法主要包括两个层次的适应，以减⼩模拟和真实数据之间的差距，并提⾼分类性能。通过输⼊触觉图像和机器⼈本体感知的传感器姿态来估计物体的 6D 姿态，并且替换了⽂中的假设提取部分，⽤本⽂提出的表⾯分类器来⽣成假设，之后在每个对象上使⽤了 3 个传感器进⾏实验，并结合了从分类实验中收集的多种传感器姿态。
Ubuntu之Sim2Real环境配置（坑居多）
m0_74081875的博客
12-04 2468
突然能了我去，差点花100在淘宝买服务 ，好像只有确认是否安装后输入检查命令才能生效,突然发现我输入的是navidia-smi不是navidia-rmi所以才有表格...又是这样，只显示两个相机,然后我跟着我上面的步骤重新单独输出三个相机了，然后再尝试同时输出三个相机，用的还是之前的roscore，报错了，也还是只有两个相机，还看不见。我先从相机初始化开始跟着步骤，发现没有画面，只能从头来了，但是！在b站上看到了一个教程是从软件和更新里面重启的，但是我的附加驱动找不到了。我只能重新一个一个试单独的画面了！
sim2real挑战赛学习资料
05-11
以下是一些Sim2Real挑战赛的学习资料： 1. Sim-to-Real Reinforcement Learning for Robotics: A Reality Gap is a challenge in robotics where models trained in simulation often fail to perform well in the real world. This paper examines the problem and proposes a sim-to-real approach to reinforcement learning for robotics. 2. Sim2Real Viewpoint Invariant Visual Servoing by Recurrent Control: This paper proposes a view-invariant visual servoing technique that can generalize well from simulated to real-world environments. 3. Sim-to-Real Transfer of Robotic Control with Dynamics Randomization: This paper introduces a method of training robots in simulation using randomized dynamics and then transferring the learned control policies to the real world. 4. Sim-to-Real Transfer for Deep Reinforcement Learning with Safe Exploration: This paper proposes a method for safe exploration in Sim2Real transfer for deep reinforcement learning. 5. Sim2Real View-Invariant Visual Servoing by Combining Simulation and Deep Learning: This paper proposes a view-invariant visual servoing technique that combines simulation and deep learning to achieve robustness to viewpoint changes. 6. Sim2Real Transfer for Robotic Manipulation: A Survey: This paper provides a comprehensive survey of the existing literature on Sim2Real transfer for robotic manipulation. 7. OpenAI Robotics: Sim2Real Transfer: This blog post by OpenAI provides an overview of Sim2Real transfer for robotics and highlights some of the challenges and opportunities in the field. 8. NVIDIA Research: Sim-to-Real Transfer Learning for Robotics: This video by NVIDIA Research provides an overview of Sim2Real transfer learning for robotics and showcases some of the recent advancements in the field. 9. Sim-to-Real Transfer of Robotic Control with Deep Reinforcement Learning: This paper proposes a method for Sim2Real transfer of robotic control using deep reinforcement learning and demonstrates its effectiveness on a real-world robotic arm. 10. Sim-to-Real Transfer of Control Policies for Robotics using Adversarial Domain Adaptation: This paper proposes a method for Sim2Real transfer of control policies for robotics using adversarial domain adaptation and demonstrates its effectiveness on a real-world robotic arm.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值