Datawhale深度强化学习基础学习-Task4心得

本次任务为学习RL开源框架—JoyRL

使用由johnjim0816提供的JoyRL离线版教程（datawhalechina/joyrl (github.com)），能够更方便地学习和自定义算法代码。这个版本支持Python 3.8和gymnasium 0.28.1，并提供了详细的安装和使用说明。

作为刚刚起步转码的小白，在此补充一些笔者安装和配置环境时遇到的问题以及思考（大佬轻喷）：

Q1：关于安装步骤的执行？

A1：这些安装步骤可以在两个地方执行：

• Anaconda Prompt：这是推荐的方法，因为它是专为管理Conda环境和包设计的。在Anaconda Prompt中执行这些命令可以确保所有的依赖项和环境变量都被正确配置。
• VSCode的终端：如果在VSCode中配置了相应的Python环境，也可以在其终端中执行这些命令。确保已经激活了相应的Conda环境。

Q2：在VSCode的终端执行？

A2：要在VSCode的终端执行这些命令，请按照以下步骤操作：

1. 打开VSCode。
2. 打开一个新的终端：可以通过点击屏幕顶部的“终端”菜单，然后选择“新建终端”，或者使用快捷键（通常是`Ctrl + ``）。
3. 如果还没有激活Anaconda环境，可以在新打开的终端里输入conda activate joyrl来激活之前创建的joyrl环境。
4. 一旦环境被激活，就可以在这个终端里执行之前提到的git clone、pip install等命令。

        确保已经正确配置了VSCode以使用Anaconda环境。

Q3：关于“克隆”和“镜像”的含义？

A3：

• 克隆（Clone）：在Git中，克隆指的是复制一个Git仓库的过程。这意味着你会得到仓库的所有版本历史。
• 镜像（Mirror）：镜像一般指的是服务器或存储库的完整复制。在软件下载中，镜像服务器提供了一个地理上更接近用户的下载源，以加快下载速度。

        关于清华源镜像：

• 清华大学提供了一系列软件的镜像源，用于加快在中国大陆地区的下载速度。可以通过使用清华的镜像源来加快下载速度。但要注意，这通常适用于常见的软件包，对于特定的GitHub仓库可能不适用。

        手动下载：

• 可以直接访问 https://github.com/datawhalechina/joyrl 网址，在网页上找到“Code”按钮，然后选择“Download ZIP”来手动下载仓库内容。下载后，解压到想要的文件夹（比如 E:\ml_learning\joyrl_try）内。

Q4：在VSCode终端运行安装指令conda create -n joyrl python=3.8和conda activate joyrl时，出现：
conda : 无法将“conda”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然后再 试一次。 所在位置 行:1 字符: 1 + conda create -n joyrl python=3.8 + ~~~~~ + CategoryInfo : ObjectNotFound: (conda:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException conda : 无法将“conda”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然后再 试一次。 所在位置 行:2 字符: 1 + conda activate joyrl + ~~~~~ + CategoryInfo : ObjectNotFound: (conda:String) [], CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException

A4：系统无法识别conda命令。这通常意味着Anaconda没有被正确添加到你的系统环境变量中，或者Anaconda可能没有正确安装。因为VSCode的终端和Anaconda Prompt在处理环境变量方面有所不同。在Anaconda Prompt中，Conda命令已经被正确配置到环境变量中，所以可以直接使用。但在VSCode的终端中，如果Conda的路径没有被添加到系统的环境变量，或者VSCode没有被正确配置来识别这些环境变量，那么它就无法识别conda命令。

        解决方法是确保Conda的安装路径被添加到系统环境变量中。这通常涉及到编辑系统环境变量并添加Anaconda安装目录的路径。这个过程可以在系统设置中完成。另一个方法是在VSCode的设置中配置Python解释器，确保它指向Anaconda环境。

Q5：在VSCode的终端中，如何检测Conda的路径被添加到系统的环境变量？

A5：在VSCode的终端中检测Conda路径是否被添加到系统环境变量，可以通过以下步骤：

1. 打开VSCode的终端。

2. 在PowerShell（如VSCode的终端）中，输入 `$Env:PATH` 并按回车。这是在PowerShell中查看环境变量的正确方式。这将显示当前的环境变量路径。查看输出中是否包含Anaconda的安装路径。如果仍然看不到Anaconda路径，那么它可能没有被正确添加到环境变量中，或者VSCode可能没有被配置为使用系统的环境变量。在这种情况下，我们可能需要手动添加Anaconda的路径到环境变量，或在VSCode中配置Python解释器以使用Anaconda环境。

3. 在显示的环境变量中查找Anaconda的安装路径。这通常类似于 `C:\Users\[Your Username]\Anaconda3` 或 `C:\ProgramData\Anaconda3`。

如果在环境变量中看不到Anaconda的路径，说明它没有被添加。这种情况下，需要手动添加Anaconda的安装路径到系统环境变量中。这可以在系统的“环境变量”设置中完成。

Q6：在环境变量中添加Anaconda3的路径的步骤？

A6：为确保一切设置正确，请确保添加以下环境变量（以下是我自己的具体路径，仅供参考）：

1. 打开“系统环境变量”设置。
2. 在“系统变量”区域，点击“新建”来添加一个新的变量。
3. 在“变量名”栏中，你无需创建新的变量名，只需选择已存在的“Path”变量。
4. 在“变量值”栏中，你将添加Anaconda的相关路径。点击“新建”，在新行中输入Anaconda的一个路径，例如`D:\ProgramData\Anaconda3`。
5. 重复步骤4，添加所有必要的Anaconda路径：
   - `D:\ProgramData\Anaconda3\Scripts`
   - `D:\ProgramData\Anaconda3\Library\mingw-w64\bin`
   - `D:\ProgramData\Anaconda3\Library\usr\bin`
   - `D:\ProgramData\Anaconda3\Library\bin`
6. 完成后，点击“确定”保存更改，并重启计算机。

这些路径确保了Anaconda及其相关工具和库可以在命令行中被正确调用。添加完这些路径后，可能需要重启VSCode或电脑，以确保环境变量的更改生效。

Q7：关于安装Torch： # CPU pip install torch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 # CPU image-url pip install torch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 -i https://pypi.tuna.tsinghua.edu.cn/simple # GPU conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge # GPU镜像安装 pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 --extra-index-url https://download.pytorch.org/whl/cu113 这些命令的选择性执行执行问题？

A7：很多强化学习算法主要使用CPU进行计算。但是，如果笔记本配备了GPU，安装GPU版本的PyTorch可以让我们在需要时利用GPU加速计算。PyTorch会根据可用硬件自动调整使用CPU或GPU。由于我的笔记本配备了NVIDIA GeForce RTX 3070 GPU，我可以选择安装GPU版本的PyTorch。这意味着应该执行下面的命令之一：
  - 标准GPU安装（从Anaconda源）：`conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge`
  - GPU镜像安装（使用PyTorch官方源）：`pip install torch==1.10.0+cu113 torchvision==0.11.0+cu113 torchaudio==0.10.0 --extra-index-url https://download.pytorch.org/whl/cu113`

先写到这，剩下的以后再补充