imitation learning简介（一）

最新推荐文章于 2023-10-23 15:41:39 发布
最新推荐文章于 2023-10-23 15:41:39 发布
阅读量3k 收藏 6
点赞数
分类专栏： imitation learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li872149120/article/details/77927934
版权

文章来源于最近看的一些有关模仿学习的文献与视频。

我的记忆力一直是不好的，特别是这样一些不太适合用口语化的语句描述的知识。

imitation learning，模仿学习。

这是实现强化学习的方式之一，在很多人的描述中，强化学习的实现方式一共有三种，第一种就是通过贝尔曼方程得到的解值函数所在的方程的问题，这种办法最直观，最容易看出强化学习最初原始的理念观点。第二种就是利用策略梯度，将策略参数化，利用梯度的方式优化参数。第三种就是模仿学习。

以前我以为模仿学习的起源很晚，至少是近几年吧，因为我很难搜到较好的国语资料，想必是大家觉得这一方面没什么好写的吧。李宏毅在他的DRL视频上讲到了这一部分的内容。模仿学习-李宏毅

与之前看的很多资料一致，视频中讲到，模仿学习的实现方式暂时是可以分为三类的。第一类就是类似Supervised Learning的Behavior Cloning。按照李宏毅的说法，这种实现方式顾名思义，就是要让我们的agent学习expert的actor，不管这个actor是否是完美的，不做改变。这样的方式存在的弊端就是Supervised Learning的弊端，可能出现的Overfit，或者一些其他的由于我不了解SL而忽略的问题，我想这是很容易类比来的。

第二类方法就是IRL方法。先提供一个expert的actor，然后我们会初始化一个Reward的函数，我们的目的就是要让我们最后得到的Reward的函数能够保证我们的expert的actor在使用这个Reward来计算自己的报酬总和时能优于其他actor，这与Structed Learning的思想一致，因此可以利用其方法来实现我们的优化过程。这里面存在的问题主要是每一次优化的过程都要进行一次RL的过程，这可能会导致比较大的计算量，是不值得的。

第三类方法就是使用GAN来实现模仿学习。

以上菜鸡理论只能体现我对这方面的知识是多么不完善。还好吧，至少最近有事可干了。

从这里开始我会重新写所有有关imitation learning的内容，以尽量详细的叙述方式。

哦，对了，贴上今天没看的FV吧。

https://en.wikipedia.org/wiki/Feature_vector
懦夫的抉择
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
模仿学习（Imitation Learning）
08-22
Imitation Learning（模仿学习）是强化学习的一个分支，因其能很好的解决强化学习中的多步决策（sequential decision）问题，近段时间得到了广泛关注。那么模仿学习近期的前沿进展如何呢，来自加州理工大学的Yisong Yue，昨天在芝加哥大学，做了名为《New Frontiers in Imitation Learning》讲座。
imitation learning.pdf
07-29
英文版。很好的资源，适合机器学习以及人工智能爱好者。
模仿学习(Imitation Learning)概述
热门推荐
彩虹糖的博客
12-30 2万+
本篇文章是基于台大李宏毅老师的课程写的，如有疏漏，请看原课程。https://www.youtube.com/watch?v=rl_ozvqQUU8 1. 什么是模仿学习？ 模仿学习（Imitation Learning）也被称为基于演示的学习（Learning By Demonstration）或者学徒学习（Apprenticeship Learning）。 机器是可以与环境进行交互的，但...
Imitation Learning
志远的博客
04-21 407
Imitation Learning，也被称作learning from demonstration 或者 apprenticeship learning。针对的是没有回报的场景。 文章目录1. 介绍Imitation Learning2. Behavior CloningInverse RL 1. 介绍Imitation Learning 在 Imitation learning 里面，你有一些 expert 的 demonstration，那 machine 也可以跟环境互动，但它没有办法从环境里面得到
【李弘毅深度强化学习】8.Imitation Learning
weisiqi520的博客
05-19 1844
本节课我们主要研究的是“Imitation Learning”（模仿学习） Imitation Learning也被叫做“示范”或者“学徒学习” 使用这种方法的情况通常是这样的：1，agent可以和环境进行交互，但是通常是无法获得具体明确的reward。2，在一些实验中是无法明确定义reward的。3，有的时候我们定义的reward是不准确的，容易造成很大困扰的 虽然reward是很难定...
模仿学习（Imitation Learning）概述
qq_22749225的博客
07-07 1万+
什么是模仿学习呢？简单来说，模仿学习（Imitation Learning），就是要训练机器能够复制人类的连续动作，进而达到模仿的目的。其实，Imitation Learning的实用性很高，假设今天有一个训练场景，你不知道该怎么定奖励值（reward），但是你可以收集到专家的示范数据（expert demonstration data），你就可以考虑用Imitation Learning这个方法。因此，模仿学习也被寄予很高的期待，成为下一代强人工智能的关键技术。......
人工智能-强化学习：Imitation Learning（模仿学习）= Learning by Demonstration（示范学习）【每一步action都没有reward】
u013250861的博客
01-09 2208
- Imitation Learning（模仿学习）是从给定的展示中进行学习。机器在这个过程中，也和环境进行交互，但是，并没有显示的得到 reward。 - 在某些任务上，也很难定义 reward。如：自动驾驶，撞死一人，reward为多少，撞到一辆车，reward 为多少，撞到小动物，reward 为多少，撞到 X，reward 又是多少，诸如此类。。。 - 另外，某些人类所定义的 reward，可能会造成不可控制的行为，如：我们想让 agent 去考试，目标是让其考 100，那么，这个 agent 则可
【李宏毅深度强化学习笔记】—8、Imitation Learning
qq_43703185的博客
07-04 195
【李宏毅讲了reward很稀疏的情况，但是在实际中，可能问题还会更进一步：很多场景是很难有一个明确的reward甚至没有reward。所以需要很厉害的agent或者直接由人来示范的资料，让agent跟着做。本文会讲两个。
Imitation Learning（模仿学习）
最新发布
10-23 882
这种方法的核心思想是让机器学习模型从已有的数据中学习，而不是通过试错的方式。然而，它也有局限性，比如可能无法处理未知的、多样化的情境，或者在训练数据中未观察到的情况。总之，Behavior Cloning 是模仿学习的一种实现方式，它们之间存在关联，但 Imitation Learning 更广泛地指代了从专家行为中学习的各种方法。在这些领域中，模仿学习可以帮助机器学习模型更快地学习到有效的策略，从而提高整体的性能。2. 表示学习：从收集到的数据中提取特征，将这些特征表示成机器学习模型可以理解的格式。
论文精读：Generative Adversarial Imitation Learning（生成对抗模仿学习）
Alex
06-21 4006
这篇论文是2016年由斯坦福大学研究团队提出的，两位作者，一位是Jonathan Ho，履历十分丰富，主要研究方向是无监督学习和强化学习，另一位是Stefano Ermon，他是斯坦福大学的副教授，主要研究方向是概率建模、生成学习和推理。因为我的毕业设计自动驾驶，模型学习的效果并没有达到预期，一是训练的时间成本很高，二是没有办法让模型学会遵守交通规则。后来在《动手学强化学习》这本书里看到了模仿学习，综合考量了一下现在的模仿学习算法，最后选择了这篇论文，也就是基于生成对抗网络模仿学习。.........
Generative Adversarial Imitation Learning 生成对抗的模仿学习
11-25
Generative Adversarial Imitation Learning Jonathan Ho Stefano Ermon
模仿学习（imitation_learning）【62页ppt】.zip
11-14
Imitation Learning（模仿学习）是强化学习的一个分支，因其能很好的解决强化学习中的多步决策（sequential decision）问题，近段时间得到了广泛关注。那么模仿学习近期的前沿进展如何呢，来自加州理工大学的Yisong Yue，昨天在芝加哥大学，做了名为《New Frontiers in Imitation Learning》讲座。新鲜出炉的PPT，一起来看看吧。
模仿学习Imitation Learning最新论文2018
12-31
模仿学习就是希望机器能够通过观察模仿专家的行为来进行学习。OpenAI，DeepMind，Google Brain目前都在向这方面发展。
ICML 2018强化学习tutorial: Imitation Learning
07-29
In this tutorial, we aim to present to researchers and industry practitioners a broad overview of imitation learning techniques and recent applications. Imitation learning is a powerful and practical alternative to reinforcement learning for learning sequential decision-making policies. Also known as learning from demonstrations or apprenticeship learning, imitation learning has benefited from recent progress in core learning techniques, increased availability & fidelity of demonstration data, as well as the computational advancements brought on by deep learning. We expect this tutorial to be highly relevant for researchers & practitioners who have interests in reinforcement learning, structured prediction, planning and control. The ideal audience member should have familiarity with basic supervised learning concepts. No knowledge of reinforcement learning techniques will be assumed.
Imitation Learning A Survey of Learning Methods.pdf
07-29
英文版。很好的资源，适合机器学习以及人工智能爱好者。
Global overview of Imitation Learning.pdf
07-29
英文版。很好的书，适合机器学习以及人工智能爱好者。
Generative Adversarial Imitation Learning分析
miu~
02-09 1163
目录 Generative Adversarial Imitation Learning论文分析 Abstract Introduction Background Characterizing the induced optimal policy Practical occupancy measure matching Generative adversarial imitation learning Generative Adversarial Imitation Learning论...
模仿学习笔记：生成判别模仿学习 Generative Adversarial Imitation Learning, GAIL
qq_40206371的博客
05-31 1091
1 GAN （回顾） GAIL 的设计基于生成判别网络 (GAN)。这里简单地回顾一下GAN，详细的可见NTU 课程笔记 7454 GAN_UQI-LIUWJ的博客-CSDN博客 GAN由生成器 (Generator) 和判别器 (Discriminator)组成，它们各是一个神经网络。 ——>生成器负责生成假的样本 ——>判别器负责判定一个样本是真是假。 我们的目标是希望生成器生成的内容可以“以假乱真” 1.1 生成器 生成器记作 a = G...
imitation learning
06-06
模仿学习（Imitation Learning）是机器学习领域中的一种学习方式，它通过模仿人类或其他智能体的行为来学习解决问题的方法。模仿学习是监督学习的一种特殊形式，它的训练数据是由人类或其他智能体的行为生成的。模仿...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值