DPPO深度强化学习算法实现思路(分布式多进程加速)

为什么是多进程

众所周知，python的多线程是伪多线程，在全局🔒GIL下某一时刻python只有一个线程在执行，这就意味着在计算密集型任务下多线程反而会更慢（上下文切换）。因此，想做关于强化学习加速的任务只能多进程（可以理解为手动运行多个程序）。但是多进程又很麻烦，麻烦在进程之间的数据联系（因为进程是不共享全局区的），本文采用pipe技术（管道）做数据传输。

代码

具体实现代码已上传github：https://github.com/ZYunfeii/DRL_algorithm_library/tree/master/PPO

实现思路1

1. 多个子进程同步训练网络
2. 在主进程将子进程网络的权重取平均更新到net
3. 再将net传入子进程，回到1

这种思路是最容易想到的，实现这种思路有两个关键点：

1. 进程同步（巧用pipe管道在接受数据时的阻塞原理可以实现，即主进程在每个episode都去接受每个子进程的数据，只有全接受到了才开始执行后面的语句）
2. 主进程怎么实现对多个相同结构网络权重取平均然后赋给主进程网络。

针对第二个问题，给出如下代码（这里很坑的是不能直接对想要赋权重的网络通过字典键来赋值，而是先建一个相同的字典，对其赋值，再通过 load_state_dict()加载到目标网络&