复现强化学习DQN

复现代码：
https://github.com/Curt-Park/rainbow-is-all-you-need
在Jupyter notebook上运行
基本上按照流程安装包就能成功运行
——————————————————————————————
记录我所遇到的安装包
（1）需要导入Gymnasium
gymnasium是gym的升级版，对gym的API更新了一波，也同时重构了一下代码。
gymnasium中提供的现成的环境有：
Classic Control
Box2D
Toy text
MuJoCo
Atari
Third-party

pip install "Gymnasium[all]" 

上述命令可以安装所有依赖
如果报错，显示不能全部安装，安装失败，可以先只安装Atari（本文复现代码里只用到这个的环境），剩下依赖等到需要时，按照提示安装即可。

pip install "Gymnasium[Atari]" 

（2）Jupyter notebook 内核挂掉

开始训练，运行到此步时，报错：Jupyter notebook 内核似乎挂掉，它将很快自动重启
解决办法：

import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

剩下的是为了生成一个视频
（3）需要安装moivepy

运行到此步，报错：
按照提示安装

pip install moviepy

接着报错，moviepy视频剪辑TypeError: must be real number, not NoneType问题

最佳方式是升级moviepy安装包

pip install moviepy --upgrade