深度强化学习cs294 HW1: Imitation Learning

最新推荐文章于 2024-08-01 15:41:40 发布
最新推荐文章于 2024-08-01 15:41:40 发布
阅读量2.1k 收藏 4
点赞数
分类专栏： 强化学习 深度强化学习 文章标签： cs294
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25037903/article/details/84501667
版权
本文介绍了在cs294课程中完成的第一次作业，涉及模仿学习和Dagger算法。作者通过gym与MuJoCo模拟器进行实验，虽然模仿学习效果不佳，但尝试了Dagger算法以改善策略。尽管调整超参数，最终效果仍远逊于专家策略。代码已上传至GitHub，同时推荐了一个效果更好的实现。
摘要由CSDN通过智能技术生成

终于把第一次作业完成了，不过实现效果貌似很差，调不好了就这样吧。

Section 1

第一部分先装环境。没啥好说的。我用的anaconda直接pip install 对应的作业1文件夹里的requirement.txt。其中MuJoCo需要激活个key，可以去官网使用学生邮箱申请一个免费的，时间为一年。

这次要用的6个环境如下，盗图一张：
在这里插入图片描述

Section2

进入正题。这次的作业是完成模仿学习。在gym仿真环境里，依赖于MoJoCo的模拟器。提供了6个环境的专家策略，运行run_expert.py生成对应的状态动作的数据，然后根据这些数据来进行模仿学习。

第一步自然是看懂run_expert.py的代码然后运行啦。将产生的数据放进expert_data文件夹。利用的是默认的参数，20个rollouts，每个最多1000步。因此有20000个对应的状态动作对。当然有的任务里走不到1000步一次rollout。

第二步进行仿真学习：
仿真学习的思想很简单，本质上就是个监督学习。根据给定的状态-动作对数据，拟合那个策略函数，其实就是个回归问题。
在这里插入图片描述
第一步里面已经根据专家策略生成了对应的数据，只需要利用这些数据进行一个回归即可。啪啪啪写一通，大概用2到3层全连接层即

最低0.47元/天 解锁文章
无所知
关注
专栏目录
imitation:模仿学习算法的干净PyTorch实现
04-29
模仿学习基准实施 该项目旨在提供模仿学习算法的清晰实现。 目前，我们已经实现了行为克隆， （带有综合示例），和。 安装： 安装PyPI版本 pip install imitation 安装最新的提交 git clone http://github.com/HumanCompatibleAI/imitation cd imitation pip install -e . 可选的Mujoco依赖性： 请按照说明在安装 。 CLI快速入门： 我们提供了几个CLI脚本作为imitation实现的算法的前端。 这些使用进行配置和复制。 从examples / quickstart.sh中： # Train PPO agent on cartpole and collect expert demonstrations. Tensorboard logs saved in `quickstar
模仿学习（Imitation Learning）概述
qq_22749225的博客
07-07 1万+
什么是模仿学习呢？简单来说，模仿学习（Imitation Learning），就是要训练机器能够复制人类的连续动作，进而达到模仿的目的。其实，Imitation Learning的实用性很高，假设今天有一个训练场景，你不知道该怎么定奖励值（reward），但是你可以收集到专家的示范数据（expert demonstration data），你就可以考虑用Imitation Learning这个方法。因此，模仿学习也被寄予很高的期待，成为下一代强人工智能的关键技术。......
动手学强化学习 第 15 章 模仿学习 训练代码
最新发布
人工智能
08-01 306
【代码】动手学强化学习 第 15 章 模仿学习 训练代码。
深度强化学习输出值总是不变？
qq_44811719的博客
04-16 5705
深度强化学习输出值总是不怎么变？ 可能原因： 1.输入张量太小，导致网络梯度更新太慢，梯度消失； 2.奖励太小，梯度小，更新慢； 3.奖励太大，relu激活函数遇到大梯度会部分“失活”； 深度强化学习调试经验 1.设置专家经验，先进行模仿学习； 2.探索必须要全面，不然智能体止步不前； 补充知识: 1.在深度学习中，没有绝对好的的优化器，只是对于大多数情况自适应优化器会好一些； 2.在深度学习中，引起局部最优的原因中鞍点要比局部最小点多得多，而且难以克服，特别是对SGD而言； ...
gym库中core.py代码解读
小柴不会敲代码
08-29 3300
gym项目文件中的core.py文件
强化学习笔记
wangmengmeng99的博客
03-24 3316
在随机环境中只有数量有限的样本会被观察到，或者模型通过泛化能力较差的函数来近似的，又或者仅仅因为环境发生改变且新的动态特性尚未被观察到，模型都可能不正确，从而导致规划过程中得到次优的策略。某些情况下，规划计算出的次优策略会使我们很快发现并修正模型错误。这种情况往往比较“乐观”，模型就会倾向于预测出比真实可能情况更大的收益或更好的状态转移，规划得出的策略会尝试开发这些机会，这样智能体就很快发现这些机会根本不存在，于是感知到模型的错误，继而修正错误。 探索和开发之间的矛盾。在“规划”语境中，“试探”意味着尝试
ICML 2018强化学习tutorial: Imitation Learning
07-29
In this tutorial, we aim to present to researchers and industry practitioners a broad overview of imitation learning techniques and recent applications. Imitation learning is a powerful and practical ...
深度强化学习 - Imitation Learning
01-30
Imitation Learning • Also known as learning by demonstration, apprenticeship learning • An expert demonstrates how to solve the task • Machine can also interact with the environment, but cannot ...
深度强化学习理论及其应用综述.pdf
08-19
1. 模仿学习（Imitation Learning）：深度强化学习可以用于模仿学习，例如机器人模仿人类行为。 2. 分层强化学习（Hierarchical Reinforcement Learning）：深度强化学习可以用于分层强化学习，例如机器人控制等。 3...
imitation-learning-master.zip_Python 深度学习_imitation learning_模仿学
07-15
python环境下的模仿学习实现代码，可兼容深度网络
深度强化学习视频.zip
05-10
深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个重要分支，它结合了深度学习的表征能力与强化学习的决策制定机制。在这个视频合集中，我们可能涵盖了一系列关于模仿学习和深度强化学习的基础...
【EasyRL学习笔记】第十一章 模仿学习
热门推荐
知不足而奋进，望远山而前行
11-09 2万+
模仿学习 (imitation learning，IL) 讨论的问题是，假设我们连奖励都没有，要怎么进行更新以及让智能体与环境交互呢?模仿学习又被称为示范学习 (learning from demonstration)，学徒学习 (apprenticeship learning)，观察学习 (learning by watching)。在模仿学习中有一些专家的示范，智能体也可以与环境交互，但它无法从环境里得到任何的奖励，它只能通过专家的示范来学习什么是好的，什么是不好的。
模仿学习（Imitation Learning）
qq_36892712的博客
08-26 1443
Imitation Learning（模仿学习）是一种机器学习方法，通过观察专家（或者已知的行为数据）的行为来学习一个策略，以在类似任务中模仿专家的行为。它的目标是让机器学习从专家的经验中获取知识，从而在未来的任务中表现出类似的行为。专家策略和学习算法。专家策略：专家策略是已经经过训练或者是领域专家提供的一个策略，用来指导模型的学习。专家策略可以是人类专家在该任务上的行为数据，或者是通过其他强化学习算法等方式获得的一组良好的策略。学习算法：学习算法用来从专家的行为数据中学习一个策略模型。
初探强化学习(2)rollout算法
qq_33328642的博客
02-24 4429
这个文章是从这个网页搬来的：https://zhuanlan.zhihu.com/p/61062275 说实话，之所以会看这个只是，主要是因为被这篇论文End-to-end training of deep visuomotor policies中的一句话给迷惑了很久。 一句话带过，大概是大佬完全把这个知识当成基础知识了，所以完全不给解释和参考文献。 于是这段我一直是不明白，只知道是在采样，具体怎么采样，也不明白。 于是搜到了这篇文章。 开始这节之前，我们先说说什么是rollout？ 本来想翻译一下这个词
（二）模仿学习-DAO数据的模仿
learn_8的专栏
10-07 434
这是这个实体对应的数据表创建语句，可以和上面的字段进行对应。，我们字段的类型和t_topic类似的有pid和author（所以我上面创建语句是按照这个项目里的形式创建的不是乱创建的，就是为了和它的字段匹配）创建实体类，名字模仿包里的文件，比如数据表交t_topic，会有两个文件分别叫TTopic.java和TTopic.hbm.xml这两个文件，我们也创建这两个文件。这是更改后的，这个的用途可以理解为有多个字段查询的时候不需要单独一个个的写，比如通过xdata和ydata两个查询，就可以这个方法。
强化学习中rollouts和episodes的区别
YHKKun的博客
04-09 1118
Episodes是智能体与环境之间一次完整的交互过程。Rollouts是在训练过程中，智能体根据当前策略进行的一系列模拟交互步骤，用于收集数据和评估策略。一个rollout可以包含一个或多个episodes的数据。
强化学习作业
dengh571的博客
11-13 2702
本次实验使用了Dueling DQN来优化了，下面主要更改是utils_model.py中神经网络的结构，以下是更改后代码 import torch import torch.nn as nn import torch.nn.functional as F class Dueling_DQN(nn.Module): def __init__(self, action_dim, device): super(Dueling_DQN, self).__init__() .
GAIL生成对抗模仿学习的简单理解
ggyy的NoteBook
07-04 5571
文章目录强化学习模仿学习模仿学习的三种方法行为克隆逆向强化学习GAIL生成对抗模仿学习 强化学习 强化学习需要一个合适的reward函数去求解最优行动策略，但很多情况下不容易设以一个足够全面和优秀的reward函数，特别是在一些复杂的应用场景中，例如自动驾驶中撞人、撞车和闯红绿灯三者的reward值很难有一个合理的比例和设定，当面对的周围环境更加复杂就更难去定量。 模仿学习 模仿学习希望机器能够通...
模仿是学习的最佳途径
程序新视界
05-05 3144
你好，我是二师兄。五一假期过完，大家陆续开始回归工作。本篇文章从另外一个视角，来聊聊如何快速学习和如何打破学习舒适区。 自古文人界有这样一句话：天下文章一大抄。这句话不仅仅适合文学界，也适合各行各业。作为一个软件从业人员，是否每天都会在网上搜索大量的资料或代码，然后复制、粘贴到自己的项目中，再根据业务进行修改？这个过程其实就是模仿、实践、验证的过程，也是学习一项新知识的最佳途径。 模仿是人类默认出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值