GAIL之imitation代码运行（含PBS）

最新推荐文章于 2024-08-17 12:53:56 发布
最新推荐文章于 2024-08-17 12:53:56 发布
阅读量1.7k 收藏 7
点赞数 3
分类专栏： GAN 文章标签： gail imitation pbs openai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35091279/article/details/69367243
版权
本文详细介绍了如何运行openAI的imitation学习代码，包括代码下载、依赖安装、mujoco仿真软件配置、训练数据生成、PBS批处理系统安装和配置，以及训练与评估过程。在运行过程中，特别强调了mujoco的授权和PBS队列配置的关键步骤。
摘要由CSDN通过智能技术生成

本文介绍了openAI的一篇论文对应的代码的运行

论文名称：《Generative adversarial imitation learning》
附上github链接：https://github.com/openai/imitation
大概步骤如下

  • 代码下载
  • 安装各种依赖
  • 安装仿真软件
  • 生成训练数据
  • PBS介绍
  • 训练及评估

1.代码下载

git clone https://github.com/openai/imitation.git

2.安装依赖

git上提出了以下的依赖要求

OpenAI Gym >= 0.1.0, mujoco_py >= 0.4.0
numpy >= 1.10.4, scipy >= 0.17.0, theano >= 0.8.2
h5py, pytables, pandas, matplotlib

其实直接跑scripts/im_pipeline.py文件也可以，不通过的部分会报错，比如No module named h5py

最低0.47元/天 解锁文章
阿正不水
关注
专栏目录
【强化学习】GAIL生成对抗模仿学习详解《Generative adversarial imitation learning》
开贰锤
09-27 3万+
通过深度强化学习，我们能够让机器人针对一个任务实现从0到1的学习，但是需要我们定义出reward函数，在很多复杂任务，例如无人驾驶中，很难根据状态特征来建立一个科学合理的reward。 人类学习新东西有一个重要的方法就是模仿学习，通过观察别人的动作来模仿学习，不需要知道任务的reward函数。模仿学习就是希望机器能够通过观察模仿专家的行为来进行学习。 OpenAI，DeepMind，Google...
Generative Adversarial Imitation Learning 生成对抗的模仿学习
11-25
生成对抗模仿学习（Generative Adversarial Imitation Learning，简称GAIL）是一种模仿学习（Imitation Learning）的方法，主要针对的是从专家行为样例中学习到执行特定任务的策略，而无需与专家互动或获取任何形式...
Python-Tensorflow实现生成对抗模仿学习GAIL
08-11
Tensorflow实现生成对抗模仿学习Generative Adversarial Imitation Learning
OpenAI baseline GAIL代码讲解及其可视化
qq_37637147的博客
07-13 2666
最近在研究关于强化学习的部分工作，首先从OpenAI的Baseline中的小型GAIL算法出发。 首先参考了大神的文章从《西部世界》到GAIL（Generative Adversarial Imitation Learning）算法。 原文链接：https://blog.csdn.net/jinzhuojun/article/details/85220327#commentBox 对大神写的文章做一些补充和细节解释。 在baseline 的文件夹中运行即可以进行模型的训练 python3 -m
Win10安装Meta-world、MuJoCo 及 mujoco-py
最新发布
z_l_m_的博客
08-17 2128
如果能在Linux系统上部署，尽量不要在windows上面，因为必须要下载Visual Studio，版本之间的对应也有问题。虽然目前可以成功运行环境。目前 MuJoCo 主要适用于 Linux 系统或 MacOS 系统，根据其它博客可知，Windows 系统支持最完美的版本是 mjpro150 和 mujoco-py 1.50.1.0。2021年10月，DeepMind 宣布收购 MuJoCo 物理模拟器，并承诺将MuJoCo 作为一个免费的、开源的、社区驱动的项目进行开发和维护。
8.gail.ipynb
09-02
关于gail的例子，适合初学者对深度强化学习gail的认识和了解
从《西部世界》到GAIL（Generative Adversarial Imitation Learning）算法
热门推荐
世事难料，保持低调
12-23 1万+
看过美剧《西部世界》肯定对里边的真实性(fidelity)测试有印象。William对其岳父James Delos, Delores对Alnold的复制体Bernard，Emily对其父亲William都做过。其中有些测试方和被测试方都是机器人。永生一直是很多科幻剧热衷的话题，而《西部世界》给出了一种基于机器载体与人类思想结合的方案，就是人的复制。那么问题来了，要想复制人，主要有两部分：一部分是躯体，当然这部分按剧中设定已不是问题，无论人、马、牛都能分分钟3D打印出来；另外一部分是思想的复制。但思想很难被
BC-regularized-GAIL:在 PyTorch 中正式实现论文“Augmenting GAIL with BC for sample高效模仿学习”
05-30
使用 BC 增强 GAIL 以实现样本高效的模仿学习 论文官方实现，在 PyTorch 中。 它建立在流行的 RL 算法存储库的 PyTorch 实现之上（下面的自述文件）。 安装 从requirements.txt文件安装所需的包。 使用pip install -e安装这个包。 再现结果 要重现 GAIL 的结果，请运行gail.sh脚本。 请务必先更改a2c_ppo_acktr/arguments.py的默认日志和模型路径。 要运行的一般脚本是 ./<method>.sh <Env> <steps> 其中关键字method对应于以下实验/基线 方法 实验/基线 盖尔 盖尔 基线 BC 预训练 + GAIL 微调 密码 我们的方法 红帆 红帆 阿尔法穆乔科 \alpha效应的消融 布诺盖尔 消融对 BC + 未经训练的 GAIL 的影响 对以下 mujoco 环境使用以下steps
InverseRL-GAIL-VAIL-On-MuJoCo:Pytorch GAIL VAIL实施
04-19
其中，Generative Adversarial Imitation Learning (GAIL) 和 Variational Inverse Control with Latent Variables (VAIL) 是两种常用的IRL算法。本项目是这两种算法在PyTorch框架下的实现，特别针对MuJoCo仿真环境...
OPENAI Baeslines 详解（十）GAIL
Dr.Zee的博客
03-18 1924
Zee带你看代码系列 学习强化学习，码代码的能力必须要出众，要快速入门强化学习 搞清楚其中真正的原理，读源码是一个最简单的最直接的方式。最近创建了一系列该类型文章，希望对大家有多帮助。 传送门 另外，我会将所有的文章及所做的一些简单项目，放在我的个人网页上。 水平有限，可能有理解不到位的地方，希望大家主动沟通交流。 邮箱：zachary2wave@163.com Thanks for readin...
模仿学习（Imitation Learning）
qq_36892712的博客
08-26 1562
Imitation Learning（模仿学习）是一种机器学习方法，通过观察专家（或者已知的行为数据）的行为来学习一个策略，以在类似任务中模仿专家的行为。它的目标是让机器学习从专家的经验中获取知识，从而在未来的任务中表现出类似的行为。专家策略和学习算法。专家策略：专家策略是已经经过训练或者是领域专家提供的一个策略，用来指导模型的学习。专家策略可以是人类专家在该任务上的行为数据，或者是通过其他强化学习算法等方式获得的一组良好的策略。学习算法：学习算法用来从专家的行为数据中学习一个策略模型。
protoGAIL:可解释的生成对抗式模仿学习
04-17
使用PyTorch生成对抗式模仿学习 该存储库用于使用PyTorch的生成对抗模拟学习（GAIL）的简单实现。 该实现基于原始的GAIL论文（）和我的Reinforcement Learning Collection存储库（）。 在此存储库中，诸如CartPole-v0 ， Pendulum-v0和BipedalWalker-v3类的环境。 您需要先安装它们，然后才能运行此存储库。 安装依赖项 安装Python 3。 将Python软件包安装在requirements.txt 。 如果将虚拟环境用于Python软件包管理，则可以使用以下bash命令安装所需的所有python软件包： $ pip install -r requirements.txt 安装其他软件包以运行OpenAI Gym环境。 这些取决于您机器的开发设置。 安装PyTorch。 PyTorch的版本应大于或等于
imitation:模仿学习算法的干净PyTorch实现
04-29
模仿学习基准实施 该项目旨在提供模仿学习算法的清晰实现。 目前，我们已经实现了行为克隆， （带有综合示例），和。 安装： 安装PyPI版本 pip install imitation 安装最新的提交 git clone http://github.com/HumanCompatibleAI/imitation cd imitation pip install -e . 可选的Mujoco依赖性： 请按照说明在安装 。 CLI快速入门： 我们提供了几个CLI脚本作为imitation实现的算法的前端。 这些使用进行配置和复制。 从examples / quickstart.sh中： # Train PPO agent on cartpole and collect expert demonstrations. Tensorboard logs saved in `quickstar
强化学习（二）--让你轻松玩转生成对抗网络（GAN）与生成对抗模仿学习（GAIL）
caokaifa的博客
05-31 5585
GAN的基本结构 GAN的主要结构包括一个生成器G（Generator）和一个判别器D（Discriminator）
PRIMAL: Pathfinding via Reinforcement and Imitation Multi-Agent Learning 代码解析
strawberry47的博客
07-28 2342
PRIMAL: Pathfinding via Reinforcement and Imitation Multi-Agent Learning 论文代码运行笔记
Imitation Learning
To be a better man
04-12 458
与传统的监督学习不同之处在于，模仿学习中的训练数据并不是从一个静态的数据集中提取出来的，而是由特定的专家生成的行为序列。最终，我们可以评估模型在生成视频时的性能，并对其进行微调和优化，以提高其效果。在其他应用领域，例如机器人控制、语音识别和自然语言处理等，输入和标签的类型和形式也会有所不同，但总的来说，代理学习的任务是将输入映射到与人类专家相似的行为或结果上。例如，在自动驾驶车辆的模仿学习中，输入可能是车辆的摄像头和雷达传感器数据，而标签则是人类司机的控制输入和输出，例如方向盘角度、油门和刹车踏板状态等。
如何让机器人持续地进行模仿学习（IROS 2021）
3D视觉工坊
12-30 1087
作者丨Heeger@知乎来源丨https://zhuanlan.zhihu.com/p/387253491编辑丨3D视觉工坊本文介绍我们实验室最新发表在IROS 2021上关于机器人持续模...
动手学强化学习笔记-模仿学习
qq_73355475的博客
09-19 545
这一点和BC不同，BC完全不需要和环境交互。而模仿者策略的目标就是要使得其交互产生的轨迹尽可能地被判别器误认为是专家轨迹，也就是说判别器的输出越靠近0越好，因此，我们可以将奖励函数设置为r（s，a）=-logD（s，a），因为我们需要最大化奖励，而当判别器的输出趋向于0时，logD（s，a）趋向于负无穷，因此要加负号构造奖励函数，事实上，我们应该也可以利用神经网络，将损失函数设置为logD（s，a），通过最小化损失函数，从而使得判别器的输出靠近0。其中，B是专家的数据集，L是对应监督学习框架下的损失函数。
gail网络matlab实现
12-19
GAIL（Guaranteed Automatic Integration Library）是一个用于自适应数值积分和随机数生成的 MATLAB 工具包。它提供了许多不同的数值积分方法，如Monte Carlo 积分、Quasi-Monte Carlo 积分和随机点积分，同时也包括了一些随机数生成的常用函数。 GAIL 工具包旨在提供高度可靠的数值积分和随机数生成方法，以确保数值积分结果的准确性和稳定性。它适用于一些高度复杂和高维度的积分问题，因为它可以自适应地调整积分步长和采样点，从而有效地处理这些复杂问题。 在 MATLAB 中实现 GAIL 可以通过简单地导入 GAIL 工具包并调用其中提供的函数来完成。用户可以根据具体的数值积分需求选择合适的积分方法和参数，然后就可以直接使用 GAIL 提供的函数来进行数值积分和随机数生成。 总之，GAIL 是一个功能强大的 MATLAB 工具包，它为数值积分和随机数生成问题提供了可靠且高效的解决方案。通过在 MATLAB 中实现 GAIL，用户可以轻松地处理各种复杂的数值积分问题，并获得准确、稳定的数值积分结果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值