【RLLIB】学习，GPU加速安装

为什么要用ray和rllib？

之前用的是stable baseline3，很方便，但是已经不更新了，感觉有些功能还是欠缺的，而且不知道为什么GPU加速总是不行

rllib真的，很新，很高级

安装

为了用上这个GPU加速，真的心累，安装了cuda但是一直找不到GPU

1. 安装cuda11.8

网上教程很多，但是有一个问题就是直接进官网容易找不到历史版本的位置，安装最新的cuda可能用不了，反正我的电脑之前预装的12，就根本不行，重新下载安装了11.8

链接: CUDA历史版本网页
（还有就是没有梯子感觉就下不了）

2. 安装torch

安装的时候用的语句是：

 pip3 install numpy --pre torch torchvision torchaudio --force-reinstall --index-url https://download.pytorch.org/whl/nightly/cu118

这个是和cuda11.8对应的，也可以从官网看到11.7或者非GPU的安装[网站]（）
链接: torch2.0安装官网

3. 安装rillib

安装的时候用的语句是：（应该按照自己需要不需要tensor和torch都安装吧？感觉）

pip install "ray[rllib]" tensorflow torch

链接: rllib官网

4. 检查GPU是否有了

python运行代码

import torch

device_count = torch.cuda.device_count()
print("Number of available GPUs:", device_count)
print(torch.cuda.is_available())
print(torch.version.cuda)

如果安装正常应该是这样

Number of available GPUs: 1
True
11.8

5. ray支持的环境也变了，需要对自己的环境进行修改

现在支持gymnasium，而不是gym，但是stable baseline3只支持gym，就很烦

这个博主写的很详细了
链接: 新老gym环境对比

真的痛苦面具，如果遇到问题只能一遍遍地百度，记录下来希望有所帮助