Generative Adversarial Imitation Learning 论文简析

最新推荐文章于 2022-12-03 21:42:15 发布
最新推荐文章于 2022-12-03 21:42:15 发布
阅读量1.2k 收藏 2
点赞数 1
分类专栏： 论文简析 文章标签：  Imitation learning GAN  reinforcement learning GAIL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hjw756517/article/details/88117996
版权

《Generative Adversarial Imitation Learning》2016

1、几个概念：

（1） occupancy measure   ρπ(s,a)：

  \rho _{}\pi \left ( s,a \right )=\pi \left ( a|s \right )\sum ^{\infty }_{t=0}\gamma ^{t}P(s_{t}=s|\pi)

（2）cost function   C(s,a),   π策略下的累计回报：

 

 （3）causal entropy:

 

(4) 学徒学习公式

（5）用RTPO来进行策略更新，保证每个策略更新后前后两个策略的差距不会太大。

This algorithm relies crucially on the TRPO policy step, which is a natural gradient step constrained to ensure that πθi+1 does not stray too far πθi。

2、算法

其中，判别器参数用adam更新，目的是increase  D，生成器用TRPO更新，目的是 decrease D

其中， cost function c(s,a) = logD(s,a)

Demian_Neit
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Generative Adversarial Imitation Learning.pdf
09-02
关于Generative Adversarial Imitation Learning的原始论文，适合初学者对深度强化学习Generative Adversarial Imitation Learning的认识和了解
【强化学习】强化学习数学基础：基本概念
小哲的博客
02-22 880
强化学习是机器通过与环境交互来实现目标的一种计算方法。机器与环境的一轮交互是指，机器在环境的一个状态下做一个动作决策，把这个动作作用到环境当中，这个环境发生相应的改变并且将相应的奖励反馈和下一轮状态传回机器。这种交互是迭代进行的，机器的目标是最大化在多轮交互过程中获得的累积奖励的期望。
Generative Adversarial Imitation Learning分析
miu~
02-09 1155
目录 Generative Adversarial Imitation Learning论文分析 Abstract Introduction Background Characterizing the induced optimal policy Practical occupancy measure matching Generative adversarial imitation learning Generative Adversarial Imitation Learning论...
【强化学习】GAIL生成对抗模仿学习详解《Generative adversarial imitation learning》
热门推荐
开贰锤
09-27 3万+
通过深度强化学习，我们能够让机器人针对一个任务实现从0到1的学习，但是需要我们定义出reward函数，在很多复杂任务，例如无人驾驶中，很难根据状态特征来建立一个科学合理的reward。 人类学习新东西有一个重要的方法就是模仿学习，通过观察别人的动作来模仿学习，不需要知道任务的reward函数。模仿学习就是希望机器能够通过观察模仿专家的行为来进行学习。 OpenAI，DeepMind，Google...
【学习周报】强化学习基础内容
zzPaulmn的博客
12-03 1111
在上周，通过结合HMN项目中的video信息与其各项评估分数(BLEU、CIDEr、METEOR、ROUGE)加以分析，发现了模型在某些类别活动上的识别效果一般，为了改善模型在数据集上的表现，尝试借助强化学习的方式，因此本周主要对强化学习的基础内容进行学习。此外除了这种方式，还应从模型输入特征中的context feature（上下文特征）以及模型的目标检测方法上进行剖析，进而改善模型在实体模块表现差的状况。
论文精读：Generative Adversarial Imitation Learning（生成对抗模仿学习）
Alex
06-21 3931
这篇论文是2016年由斯坦福大学研究团队提出的，两位作者，一位是Jonathan Ho，履历十分丰富，主要研究方向是无监督学习和强化学习，另一位是Stefano Ermon，他是斯坦福大学的副教授，主要研究方向是概率建模、生成学习和推理。因为我的毕业设计自动驾驶，模型学习的效果并没有达到预期，一是训练的时间成本很高，二是没有办法让模型学会遵守交通规则。后来在《动手学强化学习》这本书里看到了模仿学习，综合考量了一下现在的模仿学习算法，最后选择了这篇论文，也就是基于生成对抗网络模仿学习。.........
Generative Adversarial Learning Towards Fast Weakly Supervised Detection
而濡木染
12-25 1147
Generative Adversarial Learning Towards Fast Weakly Supervised Detection Abstract 近年来，弱监督对象检测已经吸引了广泛的研究工作。在不需要注释边界框的情况下，现有方法通常遵循具有在线强制阶段的两级/多级管道来提取对象提议，这比诸如SSD的快速全监督对象检测器慢一个数量级[31]和YOLO [34]。在本文中，我们...
【Active Learning - 04】Generative Adversarial Active Learning
Houchaoqun_XMU的博客
04-28 2376
【2017.11.15】Generative Adversarial Active Learning 相关文档： 【2017】Generative Adversarial Active Learning.pdf【2017】Generative Adversarial Active Learning_PPT.pdf 学习笔记：GAN + Active learning 主要步骤： GANs ...
Towards Optimal Structured CNN Pruning via Generative Adversarial Learning论文笔记
qq_43812519的博客
03-15 1380
论文地址： https://arxiv.org/abs/1903.09291 github地址：https://github.com/ShaohuiLin/GAL 本文提出基于生成对抗的剪枝策略，这与我目前的方法有些相似。 Motivation 目前的结构剪枝方法存在一些不足： 相对耗时的多阶段优化过程，须反复迭代地剪枝和微调 一般剪枝均为硬剪枝，采用hard pruning mask，无法灵活...
Generative Adversarial Imitation Learning 生成对抗的模仿学习
11-25
Generative Adversarial Imitation Learning Jonathan Ho Stefano Ermon
（有启发意义的文章）EE with Generative Adversarial Imitation Learning1
08-03
（有启发意义的文章）EE with Generative Adversarial Imitation Learning1
Learning Generative Adversarial Networks 无水印pdf转化版
11-29
Learning Generative Adversarial Networks 英文无水印pdf pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，...
Learning Generative Adversarial Networks epub
11-29
Learning Generative Adversarial Networks 英文epub 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
【阅读】Generative Adversarial Active Learning
w.here的CSDN
01-03 1065
以下文章写得不错，可以借鉴学习，侵删。 对抗生成式主动学习 Generative Adversarial Active Learning_pkueecscss的博客-CSDN博客_对抗主动学习Generative Adversarial Active LearningPaper Reading NoteURL: https://arxiv.org/pdf/1702.07956v5.pdfTL;DR第一篇用以GAN为代表的生成式方法来做Active Learning的文章,比较有开创性,,利用已标注数据,用
基于生成对抗的结构剪枝——Generative Adversarial Learning
AI Flash
07-29 3450
"Towards Optimal Structured CNN Pruning via Generative Adversarial Learning" 这篇文章提出了非常新颖的结构剪枝策略：基于生成对抗的思路，将剪枝网络设置为生成器（Generator），其输出特征作为Fake，并设置Soft Mask门控一些异质结构的输出（如通道、分支、网络层或模块等）；将预训练模型设置为Baseline，B...
论文笔记：Generative Adversarial Imitation Learning
彩虹糖的博客
01-15 1160
继续我们上篇博文模仿学习概述中的内容，上文中我们讲到，模仿学习中的逆向强化学习和对抗神经网络如出一辙，在本文中，我们就继续分析将对抗神经网络和逆向强化学习结合遇到的困难和所提出的解决方法。 背景 在上文模仿学习概述中讲过，模仿学习目前分为两个大类，一类是“行为克隆”，一类是“逆向强化学习”，前者可以看作是一种有监督的学习，根据输入的State，输出的Action，通过神经网络进行训练，这...
【论文阅读笔记】论文总结 AdaGAN、GAIL、SeqGAN等四篇
Hanxy_Robin
06-22 1386
论文总结 论文总结 AdaGAN: Boosting Generative Models A Connection Between GAN, IRL and EBM Motivation Summary Deficiency Generative Adversarial Imitation Learning Motivation Summary Deficiency SeqGAN M...
Python实现占用栅格地图的生成（Occupancy Grid Generation）
思我所
09-29 6440
本文的算法细节及推导可以参考Sebastian Thrun的《概率机器人》中占用栅格地图构建部分。 1. 导入所需要的库 import numpy as np import math import matplotlib.pyplot as plt import matplotlib.animation as anim from IPython.display import HTML 2. 反演测...
高级色系PPT11.pptx
最新发布
05-08
高级色系PPT11.pptx
deep learning based generative adversarial network history of development
02-22
深度学习基于生成对抗网络的发展历史可以追溯到2014年，当时由Ian Goodfellow和他的同事提出，该研究旨在说明两个神经网络（一个生成器和一个鉴别器）之间的竞争可以用来生成更加真实的图像。从那时起，这种技术就持续发展，并在许多不同的领域有应用，包括自然语言处理，计算机视觉，自动驾驶等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值