[论文阅读] Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World

已于 2024-03-04 00:16:08 修改
阅读量1k 收藏 7
点赞数 7
文章标签： 论文阅读
于 2024-03-03 23:39:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33673253/article/details/136440370
版权
文章探讨了领域随机化作为解决物理模拟器与现实世界差异的方法，通过在模拟中引入随机性训练深度学习模型，实现在单目相机图像的物体检测任务上从模拟到现实世界的有效迁移，且在实际机器人实验中取得良好效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

INTRODUCTION

  • 物理模拟器和现实世界之间的差异使得从模拟中转移行为具有挑战性
  • 像图像渲染器这样的低保真度模拟传感器往往无法再现现实世界中的同类传感器所产生的丰富性和噪声，这些差异，统称为现实差距，形成了在真实机器人上使用模拟数据的障碍
  • 本文探讨了领域随机化，这是一种简单但有前途的解决现实差距的方法；将模拟器随机化，以便在训练时将模型暴露在广泛的环境中
    • 这项工作的目的是检验以下假设：如果模拟中的可变性足够显著，那么在模拟中训练的模型将在没有额外训练的情况下推广到现实世界
    • 我们专注于从低保真度模拟相机图像转移的挑战
  • 这项工作是朝着使用深度学习提高目标检测流程准确性的目标迈出的第一步。此外，我们将对象定位的模拟-真实转移视为转移通用操作行为的垫脚石
  • 我们能够仅使用用简单算法生成的纹理渲染的模拟数据来训练一个在现实世界中精确到1.5厘米左右的检测器
  • 本文首次证明了领域随机化对于需要精度的机器人任务是有用的
  • 我们发现，在有足够数量的纹理的情况下，不需要使用真实图像来预训练对象检测器
  • 据我们所知，这是仅在模拟RGB图像上训练的深度神经网络首次成功转移到现实世界，用于机器人控制
  • 领域自适应和迭代学习控制是解决现实差距的重要工具，我们的方法不需要对真实世界的数据进行额外的培训
  • 我们的方法也不依赖于精确的相机信息或校准，而是随机化模拟器中相机的位置、方向和视场；只使用通过简单的随机生成过程创建的非真实纹理的方法，能够对场景的数十万（或更多）独特纹理进行训练

METHOD

给定一些感兴趣的对象

最低0.47元/天 解锁文章
【论文】Active Domain Randomizatio
qq_41614419的博客
01-03 1989
这篇论文是在传统的领域随机化（DR-Domain Randomization）的基础上提出的一篇改进论文，提出传统的领域随机化可能会导致次优的、高方差的策略，归因于对环境
最新综述 | 强化学习中从仿真器到现实环境的迁移
Paper weekly
04-23 8928
©PaperWeekly 原创 ·作者｜李文浩学校｜华东师范大学博士生研究方向｜强化学习最近 survey 了一下 sim2real 领域最近的相关工作，先整理个第一版（共有七篇论文）...
论文笔记：Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
彩虹糖的博客
08-05 6623
Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World 文章概况 作者：Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel 来源：2017 I...
什么是域随机化（Domain Randomization）
x1haonan的博客
10-06 1861
通过在仿真环境中随机化各种因素，模型能够学会在更广泛的场景下执行任务，并且在现实世界中具有更好的适应性。因为在现实世界中训练机器人可能昂贵或不可行，所以可以在仿真环境中进行训练，而域随机化帮助模型在训练时不依赖于仿真环境的精确性，使得在真实环境中的适应性更强。域随机化的核心思想是通过大量随机化的模拟环境训练模型，使模型学会忽略非本质的环境变化，从而在训练时接触到尽可能多样的场景。泛化能力增强：通过在多种随机化的环境中训练，模型在应对未知的真实场景时表现更好，减少了对精确模拟环境的依赖。
【论文】Data-efficient Domain Randomization with Bayesian Optimization
qq_41614419的博客
01-05 593
基于域随机化的强化学习定义： 主要增加了一个域参数分布，它决定了动力学模型的概率转移函数P。 在某个确定的参数组合下，也就是生成一个特定的MDPs，此时的优化目标是在这个参数组合下的最大累积奖赏： 本文提出的贝叶斯域随机化（BayRn），优化目标可以写成上下两层公式： 这个目标方程怎么理解呢？ 首先看下层，这是一个标准的域随机化强化学习过程，通俗来说就是给定一个域参数分布 fai，从中采样形成多个MDPs（这是用采样近似期望），然后在每个MDPs中训练Agent，期望学到一个策略，能够最大化所有MD.
论文翻译：Training Deep Networks with Synthetic Data:Bridging the Reality Gap by Domain Randomization
景唯acr
03-18 2011
使用合成数据训练深度网络：通过域随机化弥合现实差距 摘要： 我们提出了一种使用合成图像训练深度神经网络进行物体检测的系统。为了处理现实世界数据的可变性，系统依赖于域随机化技术，其中模拟器的参数 - 例如照明，姿势，对象纹理等 - 在非现实中随机化强迫神经网络学习感兴趣对象的基本特征的方法。我们探讨了这些参数的重要性，表明只使用非艺术生成的合成数据就可以生成具有引人注目的性能的网络。通过对实际数据进...
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
顶会速递 | ICLR 2020录用论文全集
热门推荐
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
Soft Q-learning：Learning Diverse Skills via Maximum Entropy Deep Reinforcement Learning
最新发布
m0_58988991的博客
12-22 1051
Haoran Tang 和 Tuomas Haarnoja 10月 6， 2017深度强化学习（deep RL）在许多任务中都取得了成功，例如从原始像素玩视频游戏（Mnih et al.， 2015）、玩围棋游戏（Silver et al.， 2016）和模拟机器人运动（例如 Schulman et al.， 2015）。标准的DRL 算法旨在掌握解决给定任务的单一方法，通常是第一种似乎效果很好的方法。因此，训练对环境中的随机性、策略的初始化和算法实现很敏感。
论文笔记：Continual Adaptation of Visual Representations via Domain Randomization and Meta-learning
weixin_41978493的博客
03-27 1111
论文地址：https://arxiv.org/abs/2012.04324 源码地址：尚未开源 1 Core Idea 序列化地用不同性质的样本来训练模型，会导致灾难性遗忘（catastrophic forgetting）。作者提出域泛化（domain randomization），运用图像处理，随机化当前域的数据分布。并以这个处理结果为基础，设计一个元学习（meta-learning）策略，有一个正则化项惩罚所有和模型从当前域到不同“辅助”元域的迁移有关的损失（penalizes any los..
contrastive-domain-randomization:对比域随机化
03-16
对比域随机化
论文阅读笔记：Domain Randomization for Active Pose Estimation
weixin_38886470的博客
02-21 705
摘要 本文主要提出一种基于域随机化的姿态估计方法。 通过训练神经网络，直接从环境的2D图像中预测机器人的姿态。关于提高基于域随机化的姿态估计的准确性，文章提出主动感知（active perception）方法：移动机器人以获得更好的姿态估计，在模拟环境中进行训练，用域随机化将其转化为现实。 介绍 本文为了提高基于域随机化的姿态估计的准确性，对环境进行一些已知的几何变换，如移动环境中的物体，移动机器人手臂或干扰物、改变相机角度等。同时提出主动姿态估计方法：从不同角度和不同位置看一个物体，从而获得更准确、更稳健
从虚拟到现实：利用熵最大化实现领域随机化
步子哥的博客
09-04 963
在强化学习（Reinforcement Learning, RL）领域，域随机化（Domain Randomization, DR）已成为缩小模拟环境与现实世界之间差距的重要方法。然而，传统的域随机化方法在选择动态参数的采样分布时常常面临挑战。过高的随机化可能导致过于保守的策略，而过低的随机化则可能导致政策无法泛化。本文将探讨一种新颖的方法——基于熵最大化的领域随机化（DORAEMON），它通过自动调整动态分布来提升策略的适应性和泛化能力。
域适应(DA)---域泛化(DG)
专业主义
05-10 1万+
集成学习卷积神经网络通过激活与标签相关的显性特征来进行图像分类。当训练和测试数据处于类似的分布时，它们的主导功能类似，导致不错的测试性能。尽管如此，在用不同的分布测
伯克利提出强化学习新方法，可让智能体同时学习多个解决方案
机器之心
10-24 7476
强化学习可以帮助智能体自动找到任务的解决策略，但常规的强化学习方法可能对环境变化不够稳健。近日，伯克利人工智能研究所（BAIR）发表了一篇博客，解读了他们与 OpenAI 和国际计算机科学研究所（ICSI）在这方面的一项共同研究进展《Reinforcement Learning with Deep Energy-Based Policies》。该论文也是 ICML 2017 所接收的论文之一。另外
OpenAI提出新型机器人训练技术：模拟环境动态随机
机器之心
10-28 1311
本文介绍了 OpenAI 提出的新型机器人模拟训练技术，它可以让机器人控制器完全在模拟环境中进行训练，模拟环境使用动态随机允许模型泛化至现实世界中。 我们提出的最新机器人技术可以让机器人控制器完全在模拟环境中进行训练，然后将其部署在实际机器人上，使机器人能够对环境的未知变化做出反应，就像在解决简单的问题一样。也就是说，我们使用这些技术来创建闭环系统，而不是以往的开环系统。模拟器不需要在外貌形态或
CVPR 2017、2018 - 目标检测文章
quanwei的博客
06-21 9121
CVPR 2018 Cascade R-CNN: Delving into High Quality Object Detection Domain Adaptive Faster R-CNN for Object Detection in the Wild Multi-scale Location-aware Kernel Representation for Object Detectio...
Randomization Tests
weixin_34247299的博客
06-18 327
Randomization Tests (1 of 6) Most distribution-free tests are based on the principle of randomization. The best way to understand the principle of randomization is in terms of a specific example of a...
domain randomization
06-28
域随机化（domain randomization）是一种在机器学习中使用的技术，通过在训练数据中随机化不同的环境和参数，以提高模型的泛化能力和适应性。这种方法可以帮助机器学习模型在不同的场景下表现更好，从而提高其实用性...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值