tensorflow 和 pytorch的安装（深度强化学习）

        1989年，Watkins和Dayan将最优化控制理论：包括Bellman方程和马尔科夫决策过程和时序差分（TF）结合提出了著名的Q-learning算法。2015年，Mnih等人创造性的将深度学习和强化学习结合，解决了常规强化学习中的维度爆炸问题，自此深度强化学习得到了广泛的关注和发展。

        强化学习的里程碑事件可以用下图进行概括：

 该图引自深度强化学习的综述性文献T. T. Nguyen, N. D. Nguyen and S. Nahavandi, "Deep Reinforcement Learning for Multiagent Systems: A Review of Challenges, Solutions, and Applications," in IEEE Transactions on Cybernetics, vol. 50, no. 9, pp. 3826-3839, Sept. 2020, doi: 10.1109/TCYB.2020.2977374.

        当然了，本篇文章主要介绍的是tensorflow和pytorch的安装教程，提及深度强化学习的主要原因是作者使用tensorflow和pytorch这两个工具的知识背景是深度强化学习（DRL)，也是希望能和对DRL感兴趣的朋友交流学习。废话不多说，上菜！

1 安装显卡驱动和GPU加速库。依据显卡（VIIDIA）型号安装对应的GPU驱动，具体的版本去NVIDIA官网查询

https://www.nvidia.cn/Download/index.aspx?lang=cn

 驱动安装过程中需要注意的就是不要选择精简安装！

        之后查询tensorflow和GPU加速库cudnn的对应版本并进行下载。

下载完成后将cudnn包解压后将其中的文件

 复制到

2 安装anaconda。在安装tensorflow和pytorch之前在anaconda官方网站上下载并安装anaconda。 anaconda官网链接https://www.anaconda.com/，唯一需要注意的就是在安装过程中直接选择加入系统路径就可以了。避免安装之后添加的麻烦。

3 安装tensorflow和pytorch

Tensorflow

        第一步：创建tensorflow环境，打开Anaconda Prompt，当前的环境为base，你可以使用以下命令创建和进入

conda create -n env_name python==3.9.0

conda activate env_name

其中的env_name为你自己创建的环境名称，python的版本可以依据个人需要进行修改。

        第二步：安装tensorflow，这里介绍CPU和GPU版本的安装：

pip install tensorflow_cpu==2.10.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install tensorflow_gpu==2.10.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

国内安装需要添加镜像源，这里添加的是清华源。CPU版本通过该命令安装完之后就可以直接“品尝”了。GPU版本需要额外的“添加剂”。

 至此，GPU版本的tensorflow就可以使用了。你可以在tensorflow环境中进入python

         第三步，查询gpu是否可用，命令为

import tensorflow as tf
tf.test.is_gpu_available()

pytorch，这里只介绍gpu版本的安装

        第一步，为pytorch创建一个环境

conda create -n env_name python==3.9.0

conda activate env_name

        第二步，安装pytorch，如果直接使用官网的安装命令，在安装过程中会经常中断

这里提供两种方案解决，

第一种是在官网安装命令中取消两个包的安装（一般也不会使用）：

conda install pytorch cudatoolkit=11.6 -c pytorch -c conda-forge

第二种是使用清华源中的库进行安装。在网页中查找到pytorch和cuda的对应版本。

conda install pytorch cudatoolkit=version

这里要注意python,pytorch和cuda版本的对应

        第三步，检查gpu版本的pytorch是否安装成功。进入python

import torch
torch.cuda.is_available()

以上便是tensorflow和pytorch的安装过程。当你拥有了这两个工具后，就可以开启深度强化学习或者深度学习的征程了！