Python 深度学习常用包汇总

Python 深度学习常用包汇总

比较常用Pytorch框架，记录一下常用的包，方便重建深度学习环境。

更新历史

2021/2/28
2021/3/6
2021/5/22
2022/4/22

1、框架

不同框架一般安装在不同环境中
最新Anaconda 创建Python3.6，Python3.7虚拟环境，为Pytorch,tensorflow创建单独环境
检验 pytorch,tensorflow，paddle，mxnet 深度学习框架是否正确支持GPU功能
python给pip修改镜像-cmd命令修改版
在anaconda环境中使用conda命令安装cuda、cudnn、tensorflow（-gpu）、pytorch

1.1 pytorch

网站：https://pytorch.org/

当前安装版本：1.7.1

pip install torch===1.7.1+cu110 torchvision===0.8.2+cu110 torchaudio===0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

   
   

   
   
1

pytorch 1.9.0

pip3 install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html

   
   

   
   
1

1.2 tensorflow 1.15 cpu ，gpu版

官网：https://tensorflow.google.cn/install

python版本要是3.5 - 3.7

pip install tensorflow==1.15 -i http://pypi.douban.com/simple/

   
   

   
   
1

# gpu版
pip install tensorflow-gpu==1.15

   
   

   
   
1
2

linux系统最好的安装方法

conda install -c conda-forge tensorflow-gpu==1.15.0

    
    

    
    
1

这样会顺便安装cudatoolkit和 cudnn插件不用全局安装GPU的cuda了，因为配置全局cuda实在有的难😂

conda会自动选择合适的cudatoolkit和 cudnn版本安装

目前我也只是在conda命令成功了，不知pip命令

1.3tensorflow2.0

# gpu版
pip install tensorflow-gpu==2.0
# cpu版
pip install tensorflow==2.0

   
   

   
   
1
2
3
4

使用conda 命令conda install tensorflow-gpu==2.5 安装tensorflow, 会自动安装CUDA组件

1.4 Anaconda虚拟环境中安装CUDA配合Tensorflow-gpu-多版本

阅网上的Tensorflow-gpu的安装教程，模式一装cuda时会让人看到头秃，因为他们都是让你去官网下载cuda和cudnn，基于Windows系统，然后各种添加环境变量，各种版本必须兼容，会把你搞得身心俱疲。

参考你所需要的Tensorflow版本,安装对应版本的cuda,这点很重要！！！！

1.安装cudatoolkit（CUDA）

安装CUDA是一定要指定版本，比如我TensorFlow是 2.3.0 版本，参考上图👆我就安装CUDA 10.1

conda install -c anaconda cudatoolkit  #-c代表--channel。 它用于指定搜索包的频道  默认最新版本
or
conda install cudatoolkit=10.1 # 若需指定版本

   
   

   
   
1
2
3

2.安装cudnn

若上步指定了版本，这里将做自动匹配~，所以在安装CUDA时要指定版本安装。这样就可以使用下面第一个命令安装了

conda install -c anaconda cudnn  #若上步指定了版本，这里将做自动匹配~
conda install  cudnn=7.3.1

   
   

   
   
1
2

---

---

1.5 DGL 图网络框架

https://www.dgl.ai/pages/start.html

# 搭配上面的pytorch 1.7.1 使用，先安装 pytorch 1.7.1
pip install dgl-cu110

   
   

   
   
1
2

---

2、工具包

总命令

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

pip install matplotlib numpy opencv-python pillow scikit-learn pandas openpyxl h5py scipy tqdm seaborn grip  jupyter notebook

   
   

   
   
1

增加一些NLP的包

pip install jieba wordcloud gensim

   
   

   
   
1

一些爬虫的包

pip install requests selenium beautifulsoup4 lxml

   
   

   
   
1

XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

2.1 scikit-learn(sklearn)

pip install scikit-learn

   
   

   
   
1

当前版本：0.24.1

2.2 pandas

pip install pandas

   
   

   
   
1

当前版本 ：1.2.2

安装pandas会安装numpy

2.3 numpy

pip install numpy

   
   

   
   
1

当前版本：1.20.1

之前安装pytorch不能使用最新的numpy。1.16.6可以。

但现在最新版本可以了。

2.4 matplotlib

画图包

pip install matplotlib

   
   

   
   
1

当前版本：3.3.4

2.5 jupyter notebook

pip install jupyter notebook

   
   

   
   
1

2.6 gensim

gensim 是一个通过衡量词组（或更高级结构，如整句或文档）模式来挖掘文档语义结构的工具。
算法有Word2vec，doc2vec等等

pip install gensim

   
   

   
   
1

安装要点：gensim不同版本的命令的参数会有差异，而且与scipy的版本也有关系。
像一些老的代码一般使用的是gensim3.0，但这个可能需要scipy==1.2.1,要不然有一些函数不能使用，如果出错或报AttributeError: module ‘scipy.misc’ has no attribute XXX的异常。如果报这个异常就说明是scipy版本不对了
如果使用最新的gensim，那么在网上找到的代码都可能要做一定的修改。

---

---

3 少用到的包

3.1 networkx

networkx 是Python的一个包，用于构建和操作复杂的图结构，提供分析图的算法。

pip install networkx

   
   

   
   
1

当前版本：2.5

3.2 seaborn

Seaborn是matplotlib的强大的一个扩展。

pip install seaborn

   
   

   
   
1