8. 强化学习之——模仿学习

最新推荐文章于 2025-04-25 17:25:35 发布
最新推荐文章于 2025-04-25 17:25:35 发布
阅读量5k 收藏 35
点赞数 7
分类专栏： 强化学习 模仿学习 文章标签： 强化学习 人工智能 机器学习 unity
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43450646/article/details/106977619
版权
本文探讨了强化学习中的模仿学习，包括行为克隆、DAGGER算法、逆强化学习（IRL）和生成对抗模仿学习（GAIL）。介绍了将模仿学习与强化学习结合的方法，如预训练和调整、IL与Off-Policy RL的融合，并通过案例研究展示了运动模仿。同时，讨论了模仿学习面临的数据限制和非马尔科夫行为等问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

课程大纲

Introduction & Behavioral Cloning

DAGGER algorithm to improve BC【就是在BC中引入了online iteration，2011】

Inverse RL & GAIL

Inverse RL

GAIL

Connection between IRL & GAIL

改进模仿学习的性能

模仿学习与强化学习结合

（1）最简单直接的结合：预训练和调整 Pretrain and Finetune【应用十分广泛】

（2）IL 结合 Off-Policy RL：算是对 Pretrain and Finetune 的改进

（3）另一种结合方式：把 IL 作为一项辅助的损失函数

一个有趣的 Case Study—— motion imitation

IL 本身存在的问题

总结

课程大纲

模仿学习介绍

行为克隆 BC 和 DAGGER 算法

逆强化学习 IRL 和 生成对抗模仿学习GAIL

改进模仿学习的性能

把模仿学习和强化学习结合

Introduction & Behavioral Cloning

从最简单的行为克隆方法开始介绍：比较简单的思想就是把策略的学习当做有监督的学习来进行，例如学习出来策略网络

这样直接把它当做一个有监督的问题来解决的话其实是有问题的：数据的分布假设相矛盾 —— 有监督学习假设数据是 IID 的，但是一个时序的决策过程采集到的数据是有关联的；而且如果模型进入到 off-course 状态（训练时没见到过的状态）时不知道怎么回来

一个可能的解决方案就是：不断添加数据，变成 online 的过程

DAGGER algorithm to improve BC【就是在BC中引入了online iteration，2011】

DAGGER 的缺点在于第三步实在是太耗费时间了，可以改进 DAGGER 吗？第三步是不是可以用其他的算法来打标签呢？

改进DAGGER：

Inverse RL & GAIL

Inverse RL

IRL 与 RL 的对比：

IRL的举例：

GAIL

类似于 IRL，GAN 学习了一个目标函数用于生成模型，GAIL 模仿了 GAN 的思想

Connection between IRL & GAIL

改进模仿学习的性能

怎样提升我们的

最低0.47元/天 解锁文章
NVIDIA - 机器人学习（Robot Learning）强化学习、模仿学习、扩散策略扼要
2506_90492529的博客
03-24 1059
机器人学习是一系列算法和方法的集合，可帮助机器人在模拟或现实环境中学习操纵、运动和分类等新技能。
具身智能基础——模仿学习基础
强化学习曾小健
12-04 985
逆强化学习的核心在于，通过观察专家的行为轨迹来推断出一个隐含的奖励函数，解释专家为何会在不同状态下选择特定动作。我们假设专家的每一个决策都是为了最大化某种未知的奖励。逆强化学习通过构建和优化这个奖励函数，使得我们推导出的策略能够逼近专家的行为模式。首先，我们需要记录专家的轨迹，这是专家在完成任务时所经过的一系列状态和对应的动作序列。逆强化学习的目标是找到一个奖励函数，使得在这个函数下，专家的轨迹能获得更高的累积奖励。
Imitation Learning（模仿学习）和 Reinforcement Learning（强化学习）的对比
weixin_53370601的博客
03-26 420
模仿学习从数据（专家示范， expert demonstration）中进行学习，而强化学习是通过与环境的不断交互进行学习。如果需要探索新策略或数据稀缺，选择 RL 或混合方法（如 Imitation + RL）。使用专家策略（如人类操作）生成一批示范数据（State-Action 对）。需要大量环境交互，且奖励函数的设计直接影响最终效果（如稀疏奖励问题）。如果专家数据丰富且环境交互成本高（如真实机器人），优先选择模仿学习；需要设计奖励（如抓取成功+1，掉落-1），并让机器人反复尝试抓取。
强化学习-模仿学习
qq_44430026的博客
07-25 720
磨菇书　模仿学习－逆强化学习
【强化学习】模仿学习：行为克隆
m0_63642362的博客
12-21 9822
模仿学习：行为克隆 初体验
【强化学习】模仿学习：生成式对抗模仿学习
m0_63642362的博客
02-06 8708
模仿学习：生成式对抗模仿学习 初体验
强化学习之模仿学习
qq_43703185的博客
03-02 2183
原文链接：https://blog.csdn.net/weixin_37895339/article/details/82863379 前文是一些针对IRL，IL综述性的解释，后文是针对《Generative adversarial imitation learning》文章的理解及公式的推导。 通过深度强化学习，我们能够让机器人针对一个任务实现从0到1的学习，但是需要我们定义出reward函数，在很多复杂任务，例如无人驾驶中，很难根据状态特征来建立一个科学合理的reward。人类学习新东西有一个重要的
AI大白话（六）：强化学习——AI如何通过“试错“成为大师？
Code_流苏：在代码中寻诗意，在实践中觅真知
03-22 1289
AlphaGo如何从零开始击败世界冠军？机器人为何能完成令人惊叹的后空翻？本文揭秘AI界最神奇的学习方式——强化学习，一种模拟人类"试错"的智能进化之路。通过生动图解和通俗语言，带你了解AI如何在没有明确指令的情况下，通过无数次失败最终成为各领域"大师"。不需要深厚技术背景，只需好奇心，即可掌握这项正在改变世界的AI核心技术！
12. 机器学习——评价指标
qq_32468785的博客
11-13 277
在机器学习中，评价指标用于衡量模型的性能和预测结果的准确度。选择适当的评价指标取决于任务的性质，比如分类、回归或聚类等。TPFPFNTN分别为真阳性假阳性和假阴性真阴性。真阳性（True Positive，TP）：标签为正类，预测为正类；假阳性（False Positive，FP）：标签为负类，预测为正类；假阴性（False Negative，FN）：标签为正类，预测为负类；真阴性（True Negative，TN）：标签为负类，预测为负类；
离线强化学习——行为克隆（Behavior Cloning, BC）
最新发布
Rhett_Butler0922的博客
04-25 759
给定一组专家演示数据（通常是状态-动作对），行为克隆的目标是训练一个策略模型πθa∣sπθ​a∣s，使模型在给定状态sss时输出的动作aaa尽可能接近专家的动作。行为克隆是一种简单高效的模仿学习方法，通过监督学习从专家演示中训练策略。其核心是优化神经网络，使模型预测的动作接近专家动作。优点是实现简单、无需奖励函数；缺点是分布偏移和对数据的依赖。改进方法包括DAgger、GAIL等，结合深度学习和强化学习可进一步提升性能。
模仿学习（Imitation Learning）
08-22
Imitation Learning（模仿学习）是强化学习的一个分支，因其能很好的解决强化学习中的多步决策（sequential decision）问题，近段时间得到了广泛关注。那么模仿学习近期的前沿进展如何呢，来自加州理工大学的Yisong Yue，昨天在芝加哥大学，做了名为《New Frontiers in Imitation Learning》讲座。
强化学习和模仿学习的联系与区别&模仿学习和监督学习的区别？
weixin_59191887的博客
11-30 3984
强化学习和模仿学习的联系与区别&模仿学习和监督学习的区别
斯坦福联合DeepMind提出将「强化学习和模仿学习」相结合，可实现多样化机器人操作技能的学习
人工智能学家
03-02 4052
原文来源：arXiv作者：Yuke Zhu、Ziyu Wang、Josh Merel、Andrei Rusu、Tom Erez、Serkan Cabi、Saran Tunyasuvunakool、Janos Kram ´ ar、Raia Hadsell、Nando de Freitas、Nicolas Heess「雷克世界」编译：嗯~阿童木呀我们提出了一种无模型的深度强化学习方法，利用少量演示数据
强化学习 模仿学习 于robot
penkgao的博客
11-01 1万+
写在前面： 分享知识是再好不过的事情。这篇文章主要是总结自己最近看的一些文章以及相关知识。自己在暑假实习的时候学习的就是在物理仿真平台上做robot的强化学习，未来读PhD的时候也被老师继续分配到了这个方向，哈哈。可能要一直从入门到入土了，趁着最近写research proposal的时候，将最近的理解记录一下。鉴于笔者知识水平有限，若有不妥当之处，还请指出。 摘要：robot 强化学习 模仿学...
具身智能主流方法：模仿学习，和强化学习
weixin_48878618的博客
12-27 2269
倾向于从优秀的个体展现出来的技能中快速学习，并获得泛化能力，但模仿学习目前学到的仅是相同技能的不用应用，比方说，“放苹果”泛化到“放梨”，“放牛奶”，都是“放”这个技能的不同应用，但模仿学习不能从技能“放”泛化到技能“拿”。：类比于人，强化学习适合开疆拓土，不断在新的环境中学习新的技能，并不断学习，把这项技能学到最优，而模仿学习，适合复制强化学习最优的个体，以便大规模应用，或者说，强化学习是个将军，模仿学习是教官和士兵。强调在与现实世界交互过程中持续学习，这让强化学习具有不断重新学习新的技能的可能。
「模仿学习」很强大，但和「强化学习」有什么关系
caoyongsheng的博客
11-02 4651
原文来源：Stats and Bots 作者：Vitaly Kurin 「机器人圈」编译：嗯~阿童木呀、多啦A亮 在本文中，Statsbot团队请教计算机科学家Vitaly Kurin简要介绍模仿学习，并概述强化学习的基本知识。 生物有机体是及其复杂的。即使是诸如苍蝇或蠕虫这样相对简单的生物也是如此。他们不仅能够在现实世界中成功生存，而且对环境的变化有着极强的适应力。人类可以提前计划，...
【学习强化学习】十三、模仿学习介绍
weixin_42301220的博客
03-12 5221
文章目录参考资料1. 模仿学习概述2. 行为克隆2.1 行为克隆缺点缺点1：观测非常有限缺点2：机器会完全模仿专家的行为缺点3：训练数据跟测试数据不匹配2. 逆强化学习2.1 概述2.2 奖励函数2.2 IRL vs GAN3. 第三人称视角模仿学习4. 练习4.1 keywords 参考资料 https://datawhalechina.github.io/easy-rl/#/chapter11/chapter11 1. 模仿学习概述 模仿学习（imitation learning，IL）又叫做示范学习（
模仿学习与强化学习的结合（原理讲解与ML-Agents实现）
热门推荐
小星AI
12-27 1万+
模仿学习与强化学习结合能产生超级强悍的训练效果，是训练困难任务的必备框架
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值