PRIMAL: Pathfinding via Reinforcement and Imitation Multi-Agent Learning 代码解析

已于 2022-08-04 16:12:10 修改
阅读量2.1k 收藏 26
点赞数 6
分类专栏： 学习笔记 强化学习 文章标签： python tensorflow 深度学习
于 2022-07-28 10:04:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/strawberry47/article/details/126008531
版权

目录

论文名称：PRIMAL: Pathfinding via Reinforcement and Imitation Multi-Agent Learning
论文地址：https://arxiv.org/abs/1809.03531
代码地址：https://github.com/gsartoretti/PRIMAL
相关链接：无人驾驶动态避障策略调研 | 机器人动态避障策略 | 行人轨迹预测 | 机器人导航，三篇强化学习用于多智能体路径规划的论文

1. 准备工作

1.1 配置环境：

  1. 先新建一个环境：
    conda create --name PRIMAL python=3.6
  2. 新建一个requirements.txt文件，把要安装的包都放进去，再运行 pip install -r requirements安装包：
Cython==0.28.4
gym==0.9.4
Tensorflow==1.13.0
numpy==1.16.0
matplotlib
imageio
tk
networkx

注：源代码中是python3.4 + tf 1.3 + numpy 1.13，但是因为我的pycharm版本较高，不能兼容低版本python，因此我配的是python 3.6；py3.6无法兼容1.3版本的tensorflow，因此我又换成了1.13版本的tf。
3. 如果安装失败，也可以一个一个安装（我采用的方法）
注：直接pip或者conda安装不了gym时，可以尝试以下两种方法：conda install -c conda-forge gym=0.9.4 或者 pip install gym -i https://pypi.tuna.tsinghua.edu.cn/simple
安装tensorflow出问题时，可以执行以下两句 conda install cudatoolkit=10.0 conda install tensorflow==1.13.1
4. 安装完成后，可以使用conda list命令检查是否都安装上了：
在这里插入图片描述

1.2 调试代码

  1. 安装readme文件中的步骤一步一步来：
    ① 命令行窗口进入cd od_mstar3文件夹，python setup.py build_ext --inplace；报错了error: Unable to find vcvarsall.bat
    网上搜了一下，发现是需要安装Visual Studio，并且在安装时需要勾选 C++组件。如果安装时没有勾选，应当在工具栏中重新安装，之后重启就有vcvarsall模块了。参考文章：已安装vs2017 仍然报错Unable to find vcvarsall.bat

  2. 然而，装了之后还是报错 o(╥﹏╥)o，参照：关于error: Unable to find vcvarsall.bat，我将msvc9compiler.py文件中的find_vcvarsall函数return改成 return r"C:\Program Files (x86)\Microsoft Visual Studio\2017\Community\VC\Auxiliary\Build\vcvarsall.bat"
    其他参考文章：Unable to find vcvarsall.bat?

  3. 改好vcvarsall.bat的bug后，又有了一个新bug： fatal error C1083: 无法打开包括文件: “boost/graph/graph_traits.hpp”: No such file or directory。 网上查了一下，这是C++里的BGL库，需要自己下载安装。寻路时会用到它。Boost C++ Libraries 编译安装，oost下载安装编译配置使用指南（含Windows和Linux）
    ① 在官网中下载了 boost_1_53_.zip，解压运行bootstrap.bat的时候报错了 boost 编译时出错处理：Failed to build Boost.Build engine。查阅了很多资料，还是没解决，于是决定下载最新版本的boost工具包。
    安装时再次报错，fatal error C1083: 无法打开包括文件: “corecrt.h，Windows 原生 cmd 窗口下编译 C++（cl命令）出现的问题及解决方法

    ② 朋友安装的Visual Studio 2022，能够顺利装上boost，因此我也重新安装了vs2022。啊！终于可以啦！！

    boost工具安装教程，官方安装教程。

1.3 linux环境安装boost：

！！！！linux环境直接使用sudo apt-get install boost命令就可以安装了！ https://stackoverflow.com/questions/12578499/how-to-install-boost-on-ubuntu

2.代码解析：

2.1 setup.py

按照作者的要求，应该先运行这个文件~
setup.py是调用cpython，用 Python 的语法混合编写 Python 和 C/C++ 代码，提升 Python 速度
调用 C/C++ 代码 教程，Cython 基本用法 。

本代码中是运行cpython_od_matar.pyx这个文件，其中的find_path(world, init_pos, goals, inflation, time_limit)函数是使用ODrM算法进行探索。ODrM相当于专家，generate a high-quality paths。
输入输出：

    world - matrix specifying obstacles, 1 for obstacle, 0 for free
    init_pos  - [[x, y], ...] specifying start position for each robot
    goals     - [[x, y], ...] specifying goal position for each robot
    inflation - inflation factor for heuristic
    time_limit - time until failure in seconds

    returns:
    [[[x1, y1], ...], [[x2, y2], ...], ...] path in the joint
    configuration space

2.2 A3C_RNN.py

因为pycharm在服务器运行jupyter文件有点麻烦，我将DRLMAPF_A3C_RNN.ipynb文件改成了A3C_RNN.py文件。这部分负责训练模型

2.3 ACNet.py

ACNet.py中的_build_net()函数对应着论文中的网络结构：
在这里插入图片描述

2.4 mapf_gym环境

2.4.1 mapf_gym与mapf_gym_cap区别

继承了gym库，用于搭建环境
奇怪的是，它与mapf_gym_cap.py中代码几乎一样，只是_observe()函数不太一样：
mapf_gym中限制了mag（agent距离goal的位置）的大小，应该就是视野受限吧：
在这里插入图片描述

github中对这两个文件的解释是：
mapf_gym：Multi-agent path planning gym environment, in which agents learn collective path planning
mapf_gym_cap.py：Multi-agent path planning gym environment, with capped goal distance state value for validation in larger environments

看了一下代码，训练的时候调用的是mapf_gym，测试的时候是mapf_gym_cap.py
直接运行这两个代码会报错NameError: name 'coordinationRatio' is not defined，没查到coordinationRatio这个函数是干什么的，我就把对应的代码print(coordinationRatio(env))注释掉了。

2.4.2 搭建环境

A3C_RNN.py中创建环境：gym=mapf_gym.MAPFEnv(num_agents=n, world0=world[0],goals0=world[1])

2.5 mapgenerator.py

利用tk()库，生成环境，即手动设置obstacle，agent的位置
在这里插入图片描述

2.6 primal_testing.py

加载模型，进行测试，报错[Errno 2] No such file or directory: 'saved_environments/4_agents_10_size_0_density_id_0_environment.npy'，没找到哪里会生成这个文件呀。

2.7 unittest

报错：pyglet.canvas.xlib.NoSuchDisplayException: Cannot connect to "None"，网上说直接在终端跑就行了
But，在终端跑，也报错your graphic drives do not support OpenGL 2.0，网上查了一下，得有GPU才行。

① 试试这个方法：用虚拟形式的图像渲染方式在server端启动虚拟化的图形渲染；没有用。。。
② 再试试这个pyglet.canvas.xlib.NoSuchDisplayException: Cannot connect to “None” ，装了一半发现也需要GPU才行

重新看了看代码，发现作者一开始是注释掉了from gym.envs.classic_control import rendering 这个包，于是我也注释掉了。。。 可是注释掉之后，就看不见图形化界面了啊。

GroupLock.py

负责多线程：
Python多线程编程(一）：threading 模块 Thread 类的用法详解
Python 多线程编程(二):threading 模块中 Lock 类的用法详解
【python】详解threading模块：Condition类的使用（三）

3.报错合集：

  1. 报错 Connection to Python debugger failed: Socket operation on nonsocket: configureBlocking
  2. ImportError: DLL load failed: 找不到指定的模块。 解决办法：重新安装numpy和tensorflow
  3. 运行mapgenerator.py代码时报错：TclError: no display name and no $DISPLAY environment variable，解决办法 手动指定显示设备： ① 终端输入printenv grep DISPLAY，查看版本，我这边输出是localhost:10.0；② 再将root = Tk()改成root = Tk(screenName = ':10.0') ③ import的部分加上import matplotlib，matplotlib.use('Agg')
strawberry47
关注
  • 6
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
GAIL之imitation代码运行（含PBS）
阿正不水
04-05 1698
本文介绍了openAI的一篇论文对应的代码的运行论文名称：《Generative adversarial imitation learning》 附上github链接：https://github.com/openai/imitation 大概步骤如下 代码下载 安装各种依赖 安装仿真软件 生成训练数据 PBS介绍 训练及评估 1.代码下载 git clone https://github.
PRIMAL2:培训代码PRIMAL2-公共仓库
05-09
PRIMAL_2：通过强化和模仿多主体学习进行寻路-终身 设置代码 cd进入od_mstar3文件夹。 python3 setup.py build_ext --inplace 返回到git文件夹的根目录，运行python3和“ import cpp_mstar”进行检查 运行代码 通过变量选取元代理的适当数量NUM_META_AGENTS和NUM_IL_META_AGENTS在parameters.py RL元代理的数量由总元代理和IL元代理之间的差异（ NUM_RL_META_AGENTS = NUM_META_AGENTS - NUM_IL_META_AGENTS ）隐式定义。 通过parameters.py training_version进行名称训练 调用python driver.py 密钥文件 parameters.py训练参数。 driver.py程序驱动程序。
三篇强化学习用于多智能体路径规划的论文
strawberry47的博客
07-13 8173
期刊：applied science MDPI 总结：使用VGG进行特征提取，再使用DQN进行决策。论文质量较低，缺乏很多重要内容，如：环境搭建、数据集介绍、action和state的相关描述，还有很多typo；而且论文中并未体现出多机器人的思想。论文模型图非常简单，画了跟没画似的。。。和常见的强化学习交互图一样。 用到了CNN来处理像素信息（应该后续会作为state），但文中并未说明图像信息来源： reward设置：离目标近，reward +0.2；碰撞，reward -20；到达目标点，reward
PRIMAL论文阅读
weixin_43188143的博客
03-16 949
PRIMAL: Pathfinding via Reinforcement and Imitation Multi-Agent Learning论文阅读
资料暂时存放
qq_42592227的博客
08-05 985
资料暂存
模仿学习（Imitation Learning）
qq_36892712的博客
08-26 1034
Imitation Learning（模仿学习）是一种机器学习方法，通过观察专家（或者已知的行为数据）的行为来学习一个策略，以在类似任务中模仿专家的行为。它的目标是让机器学习从专家的经验中获取知识，从而在未来的任务中表现出类似的行为。专家策略和学习算法。专家策略：专家策略是已经经过训练或者是领域专家提供的一个策略，用来指导模型的学习。专家策略可以是人类专家在该任务上的行为数据，或者是通过其他强化学习算法等方式获得的一组良好的策略。学习算法：学习算法用来从专家的行为数据中学习一个策略模型。
【强化学习】模仿学习：生成式对抗模仿学习
m0_63642362的博客
02-06 4916
模仿学习：生成式对抗模仿学习 初体验
Imitation Learning
To be a better man
04-12 453
与传统的监督学习不同之处在于，模仿学习中的训练数据并不是从一个静态的数据集中提取出来的，而是由特定的专家生成的行为序列。最终，我们可以评估模型在生成视频时的性能，并对其进行微调和优化，以提高其效果。在其他应用领域，例如机器人控制、语音识别和自然语言处理等，输入和标签的类型和形式也会有所不同，但总的来说，代理学习的任务是将输入映射到与人类专家相似的行为或结果上。例如，在自动驾驶车辆的模仿学习中，输入可能是车辆的摄像头和雷达传感器数据，而标签则是人类司机的控制输入和输出，例如方向盘角度、油门和刹车踏板状态等。
如何让机器人持续地进行模仿学习（IROS 2021）
3D视觉工坊
12-30 1006
作者丨Heeger@知乎来源丨https://zhuanlan.zhihu.com/p/387253491编辑丨3D视觉工坊本文介绍我们实验室最新发表在IROS 2021上关于机器人持续模...
Python库 | gym-0.5.2.tar.gz
03-07
python库。 资源全名：gym-0.5.2.tar.gz
imitation-learning:模仿学习算法
04-23
深度模仿学习的语用观察 模仿学习算法（使用PPO ）： 美国广播公司 AIRL 公元前 钻头 童话 盖尔 GMMIL nn-PUGAIL PWIL 红色 python main.py --imitation [AIRL|BC|DRIL|FAIRL|GAIL|GMMIL|PUGAIL|RED] 选项包括： 仅状态模仿学习： --state-only 吸收状态指示器 --absorbing R1梯度正则化 ：-- --r1-reg-coeff 1 （默认值） 结果 PPO 火车 测试 航空 火车 测试 公元前 火车 测试 钻头 火车 测试 公平 火车 测试 盖尔 火车 测试 吉米 火车 测试 nn-PUGAIL 火车 测试 红色的 火车 测试 致谢 @ikostrikov （ https://github.com/ikostrikov
imitation:模仿学习算法的干净PyTorch实现
04-29
模仿学习基准实施 该项目旨在提供模仿学习算法的清晰实现。 目前，我们已经实现了行为克隆， （带有综合示例），和。 安装： 安装PyPI版本 pip install imitation 安装最新的提交 git clone http://github.com/HumanCompatibleAI/imitation cd imitation pip install -e . 可选的Mujoco依赖性： 请按照说明在安装 。 CLI快速入门： 我们提供了几个CLI脚本作为imitation实现的算法的前端。 这些使用进行配置和复制。 从examples / quickstart.sh中： # Train PPO agent on cartpole and collect expert demonstrations. Tensorboard logs saved in `quickstar
模仿学习（Imitation Learning）概述
热门推荐
qq_22749225的博客
07-07 1万+
什么是模仿学习呢？简单来说，模仿学习（Imitation Learning），就是要训练机器能够复制人类的连续动作，进而达到模仿的目的。其实，Imitation Learning的实用性很高，假设今天有一个训练场景，你不知道该怎么定奖励值（reward），但是你可以收集到专家的示范数据（expert demonstration data），你就可以考虑用Imitation Learning这个方法。因此，模仿学习也被寄予很高的期待，成为下一代强人工智能的关键技术。......
Primal代码梳理01——mapf_gym.py
最新发布
weixin_43188143的博客
03-16 862
Primal代码梳理
机器学习-56-RL-08-Imitation Learning(强化学习-模仿学习)
迷雾总会解
01-25 2307
Imitation learning(模仿学习) 讨论的问题是：假设我们连 reward 都没有，那要怎么办呢？Imitation learning 又叫做 learning from demonstration(示范学习) ，apprenticeship learning(学徒学习)，learning by watching(观察学习)
Imitation_Learning
zzping01的博客
09-17 117
文章目录Imitation LearningApproach1--Behavior CloningDataset Aggretion(DAgger)Approach2--Inverse RL or Inverse Optimal ControlConnection with GAN Imitation Learning 别名：learning from demonstration(示范学习) ，apprenticeship learning(学徒学习)，learning by watching(观察学习)
ROS实验笔记之——基于Prometheus的无人机运动规划
gwpscut的博客
08-12 2922
本博文基于Prometheus项目来学习无人机的运动规划。关于该项目的配置可以参考《ROS实验笔记之——基于Prometheus自主无人机开源项目的学习与仿真》 ego-planner 对于ego-planner，直接下载源码编译即可。 （源码连接： https://github.com/ZJU-FAST-Lab/ego-planner https://github.com/ZJU-FAST-Lab/ego-planner-swarm） 注意：编译的时候统一采用 catkin_m
MARL（multi-agent reinforcement learning）的一些边缘文章（imitation、transfer、security等）
mmc2015的专栏
11-07 5786
参考：https://github.com/LantaoYu/MARL-Papers 7.4.2、Inverse MARL [1] Cooperative inverse reinforcement learning by Hadfield-Menell D,Russell S J, Abbeel P, et al. NIPS, 2016. [2] Comparison of Mul
深度学习课程笔记（七）：模仿学习（imitation learning）
a1424262219的博客
12-10 1228
深度学习课程笔记（七）：模仿学习（imitation learning） 2017.12.10 　　 　　本文所涉及到的 模仿学习，则是从给定的展示中进行学习。机器在这个过程中，也和环境进行交互，但是，并没有显示的得到 reward。在某些任务上，也很难定义 reward。如：自动驾驶，撞死一人，reward为多少，撞到一辆车，reward 为多少，撞到小动物，reward...
分布式admm-lasso加权分位数回归matlab代码
05-13
以下是分布式ADMM-Lasso加权分位数回归的MATLAB代码： ```matlab function [beta, history] = distributed_admm_lasso_wq(X, y, rho, alpha, q, weights, groups, max_iter, abstol, reltol, quiet) % Distributed ADMM-Lasso with Weighted Quantile Regression % % [beta, history] = distributed_admm_lasso_wq(X, y, rho, alpha, q, weights, % groups, max_iter, abstol, reltol, quiet) % % Solves the following problem via distributed ADMM-Lasso with Weighted Quantile Regression: % % minimize 1/2*sum(w_i*||y_i - X_i*beta||_2^2) + alpha*sum(norm(w.*beta,1)) % subject to groups'*beta = 0 % % where groups is the group matrix indicating the groups that each predictor variable belongs to. % % The input parameters are: % X - The input data matrix of size n x p % y - The response vector of length n % rho - The augmented Lagrangian parameter % alpha - The regularization parameter for L1 penalty % q - The quantile level for weighted quantile regression penalty % weights - The weight vector of length n for weighted quantile regression penalty % groups - The group matrix of size p x g indicating the groups that each predictor variable belongs to. % Each column of groups should be a binary vector indicating the variables in that group. % max_iter - The maximum number of iterations % abstol - The absolute tolerance for primal and dual residuals % reltol - The relative tolerance for primal and dual residuals % quiet - Set to true to suppress output % % The output values are: % beta - The solution of the optimization problem % history - A structure containing the history of objective function value, primal and dual residuals % % Written by: Salman Asif, Georgia Tech % Email: sasif@gatech.edu % Created: March 2012 if nargin < 11, quiet = false; end if nargin < 10, reltol = 1e-2; end if nargin < 9, abstol = 1e-4; end if nargin < 8, max_iter = 1000; end if nargin < 7, groups = ones(size(X,2),1); end if nargin < 6, weights = ones(size(X,1),1); end if nargin < 5, q = 0.5; end if nargin < 4, alpha = 1; end if nargin < 3, rho = 1; end [n,p] = size(X); g = size(groups,2); % Initializing variables beta = zeros(p,1); z = zeros(p,1); u = zeros(p,1); gamma = ones(g,1); % Precompute group norms for speed norms = zeros(g,1); for i = 1:g norms(i) = norm(X(:,groups(:,i))*beta(groups(:,i))); end % ADMM solver if ~quiet fprintf('%3s\t%10s\t%10s\t%10s\t%10s\t%10s\n','iter', 'r norm', 'eps pri', 's norm', 'eps dual', 'objective'); end for k = 1:max_iter % beta update beta = update_beta_wq(X, y, z, u, rho, alpha, weights, q, groups, gamma); % z update zold = z; for i = 1:p zi = beta(i) + u(i); z(i) = soft_thresh(zi, alpha/rho); end % u update u = u + beta - z; % gamma update u_norms = zeros(g,1); for i = 1:g u_norms(i) = norm(X(:,groups(:,i))*(beta(groups(:,i)) - z(groups(:,i)))); gamma(i) = quantile(u_norms(i)./norms(i), q); end % diagnostics, reporting, termination checks history.objval(k) = objective_wq(X, y, beta, alpha, weights, q); history.r_norm(k) = norm(beta(:) - z(:)); history.s_norm(k) = norm(-rho*(z(:) - zold(:))); history.eps_pri(k) = sqrt(p)*abstol + reltol*max(norm(beta(:)), norm(-z(:))); history.eps_dual(k)= sqrt(p)*abstol + reltol*norm(rho*u(:)); if ~quiet fprintf('%3d\t%10.4f\t%10.4f\t%10.4f\t%10.4f\t%10.4f\n', k, ... history.r_norm(k), history.eps_pri(k), ... history.s_norm(k), history.eps_dual(k), history.objval(k)); end if (history.r_norm(k) < history.eps_pri(k) && ... history.s_norm(k) < history.eps_dual(k)) break; end end if ~quiet if k == max_iter fprintf('WARNING: Maximum number of iterations reached\n'); end end end function beta = update_beta_wq(X, y, z, u, rho, alpha, weights, q, groups, gamma) [n,p] = size(X); g = size(groups,2); XtX = zeros(p); Xty = zeros(p,1); for i = 1:g idx = groups(:,i); Xw = bsxfun(@times, X(:,idx), sqrt(weights)); yw = y.*sqrt(weights); Xwz = Xw*z(idx); XtX(idx,idx) = Xw'*Xw./n + rho*eye(sum(idx)); Xty(idx) = Xw'*yw./n + rho*Xwz - u(idx); end beta = zeros(p,1); for i = 1:g idx = groups(:,i); Xw = bsxfun(@times, X(:,idx), sqrt(weights)); yw = y.*sqrt(weights); beta(idx) = linsolve(XtX(idx,idx), Xty(idx)); beta(idx) = (1-gamma(i))*z(idx) + gamma(i)*beta(idx); end end function obj = objective_wq(X, y, beta, alpha, weights, q) res = y - X*beta; obj = 0.5*sum(weights.*res.^2) + alpha*sum(wq_norm(beta, q, weights)); end function val = wq_norm(x, q, w) n = length(x); val = 0; for i = 1:n val = val + w(i)*abs(x(i)); end val = sum(w.*max(abs(x)-quantile(abs(x),q),0)); end function z = soft_thresh(x,lambda) z = sign(x).*max(abs(x) - lambda, 0); end ```
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值