python包管理,认真看一遍
- 1 python包如何管理
- 2 windows下anaconda的安装及包管理(非常简单)
- 3 linux下anaconda的安装及包管理
- 4 linux在不联网环境下(离线环境)安装anaconda、numpy、opencv、gdal、gpu的pytorch。、
- 5 windows和linux中运行python文件的3种方式(完全一样)
- 6 总结
从头开始安装python执行所需要的各种环境
windows和linux一样,主要是用anaconda来控制各种python环境
1 python包如何管理
1.1 直接下载python软件开发环境
这样可以直接用,那么只能在一台电脑上安装最多2个python环境:
python2和python3。
然后使用pip管理python2的库,pip3管理python3的库。
1.2 使用anaconda环境管理软件(必须使用它)
如果有多个python环境需要用,比如有的代码是基于opencv2.3版本,有的是基于opencv4.2版本的。那么直接在电脑上安装python的方法就不行了。所以出来了anaconda软件,用于环境隔离。
使用各种命令类似linux系统操作各种环境。
conda常用命令:安装,更新,创建,激活,关闭,查看,卸载,删除,清理,重命名,换源,问题
1.3 pip install 和conda install 两种管理包的方式
1.3.1 conda 管理包(首选,conda中先试conda install不行才用pip install )
1.3.1.1 conda install numpy背后经历了哪些步骤
使用命令 conda install numpy 是用来在 Anaconda 环境中安装 NumPy 包的。具体来说,这个命令做了以下4件事情:
(1)检查依赖关系: Conda 会首先检查 NumPy 包的依赖关系,以确保安装 NumPy 时所需的其他包也被正确安装或升级。
(2)下载安装包: 如果 NumPy 没有被安装或需要更新,Conda 会从 Anaconda 仓库或配置的其他仓库中下载 NumPy 的安装包。
(3)解决依赖关系: Conda 会解决 NumPy 包的依赖关系,确保它与其他已安装的包兼容,并且不会引发冲突。
(4)安装: 一旦解决了依赖关系,Conda 将会安装 NumPy 包及其所有必需的依赖包。
1.3.1.2 conda install 下载的是.tar.bz2文件
去官网看,有两种包的格式,一种是.conda结尾,一种是.tar.bz2结尾,这两个文件有什么区别:还是没有太搞清楚。不过不重要。目前所有的都是下载安装的.tar.bz2包,没人用.conda文件
numpy-1.20.3-py37h6fc94f6_0.conda
numpy-1.20.3-py37h6fc94f6_0.tar.bz2
离线下载conda包并安装 ,这个案例表明conda下载的是.tar.bz2文件
1.3.1.3 conda源和指定源命令
// 直接用conda命令下载库
conda install numpy
// 离线下载好进行安装
conda install C:\SRData\cudnn-7.6.5-cuda9.2_0.tar.bz2
// 使用requirements.txt文件批量下线包
https://blog.csdn.net/LQ_001/article/details/129669584
// 指定镜像库下载某个库,利用镜像安装指定版本的库,格式如下:
conda install 库名==库的版本号 —channel 镜像网址
// 如:利用清华镜像安装numpy库:
conda install numpy --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
// conda下载库的常用地址
// conda默认下载的网站
https://repo.anaconda.com/pkgs/main
// 清华大学主要库:
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
//清华大学免费库:
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
// 查看源
conda config --show-sources
// 添加源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes
// 换回默认源
conda config --remove-key channels
conda install怎么指定下载网址 - CSDN文库
1.3.2 pip 管理包(在线和离线安装)
(1)pip install numpy的原理,就是到指定的网站https://pypi.org/去下载以.whl结尾的numpy文件,然后进行安装。
(2)所以我们可以先把这个软件下载到电脑的一个目录,比如C:\SRData\numpy.whl; 然后使用pip install C:\SRData\numpy.whl 实现离线安装,无论是在window还是linux中都是这样,只不过下载的whl版本要对了,windows安装就下载支持windows的numpy.whl,linux系统安装就下载支持linux版本的numpy_linux.whl 。
// 直接用pip命令下载库
pip install numpy
// 离线下载好进行安装
pip install C:\SRData\aiohttp-3.7.4.post0-cp37-cp37m-win_amd64.whl
// 使用requirements.txt文件批量下线包
https://blog.csdn.net/LQ_001/article/details/129669584
// 指定镜像库下载某个库,利用镜像安装指定版本的库,格式如下:
pip install 库名==库的版本号 -i 镜像网址
// 如:利用清华镜像安装Pillow库2.5.3版本:
pip install Pillow==2.5.3 -i https://pypi.tuna.tsinghua.edu.cn/simple
// pip下载库的常用地址
// pip默认下载的网站
https://pypi.org/
// pytorch离线包下去下面这个里面好找
https://download.pytorch.org/whl/torch_stable.html
// 豆瓣:
http://pypi.douban.com/simple/
// 清华大学:
https://pypi.tuna.tsinghua.edu.cn/simple/
//中国科技大学:
https://pypi.mirrors.ustc.edu.cn/simple/
//阿里云:
https://mirrors.aliyun.com/pypi/simple/
// 百度:
https://mirror.baidu.com/pypi/simple
1.3.3 conda和pip区别
1、有一些包必须用pip进行安装,用conda安装不上:比如gdal包。
2、pip和conda下载的包格式不一样,pip对应wheel包后缀是.whl。conda对应压缩包后缀是.tar.bz2
// pip 安装本地包
pip install c:/bin/torch-0.2.0.post3-cp35-cp35m-manylinux1_x86_64.whl
pip install /root/bin/torch-0.2.0.post3-cp35-cp35m-manylinux1_x86_64.whl
// conda 安装本地包
conda install c:/bin/pytorch-0.4.0-py35_cuda8.0.61_cudnn7.1.2_1.tar.bz2
conda install /root/bin/pytorch-0.4.0-py35_cuda8.0.61_cudnn7.1.2_1.tar.bz2
3、conda有着环境管理器和模块包管理器的功能,而pip只是python的管理器,conda当初的设计就不只是针对于python,因此可以用于其它语言,而pip只能用于python的模块包安装。conda通常我们用的比较多的是它的环境管理。
4、conda和pip都具有模块包安装的功能。两者可以都使用,两者之间互相补充,在pip安装搜索不到的包使用conda可能安装,因为两者搜索的包源不一样。
正确的打开方式可以是用conda建立虚拟环境,在虚拟环境中使用conda或pip安装模块包,最大化资源互补。
lx非常好:Python安装第三方库攻略(pip和Anaconda)-以及各种包的格式
1.3.4 补充,在python代码中指定要使用的包(了解,不常用,麻烦)
在没有anaconda的环境中,在运行python代码的时候又需要其它依赖包,只需要在python代码中指定包的路径就行。
// 可以在 Python 代码中使用 sys.path.append() 来添加特定路径到模块搜索路径中,从而让 Python 解释器在这些路径中查找依赖包。
import sys
sys.path.append("/path/to/your/package")
1.4 不能使用anaconda可以使用python的默认创建环境命令(不推荐,只是了解,还用anaconda)
在 Python 中可以使用虚拟环境(virtual environment)来隔离项目的依赖包。
使用虚拟环境:
更好的方法是使用虚拟环境,它可以隔离不同项目的依赖包,同时可以更加清晰地管理依赖关系。你可以使用 Python 的内置工具 venv
来创建虚拟环境,然后在其中安装和管理依赖包。以下是基本步骤:
-
创建虚拟环境:
python -m venv myenv
这将创建一个名为 “myenv” 的虚拟环境。
-
激活虚拟环境(在 Windows 上使用不同的命令):
source myenv/bin/activate # Linux/Mac
-
在激活的虚拟环境中安装依赖包:
pip install package_name
这样,你的 Python 代码将会在虚拟环境中运行,而只有虚拟环境中安装的依赖包才会被使用,不会影响全局 Python 环境。
使用虚拟环境是一种良好的实践,特别是在开发多个项目时,可以确保依赖包的隔离和管理。
2 windows下anaconda的安装及包管理(非常简单)
看下面教程就行,网上教程还有很多,随便搜。
最详细的Anaconda安装、配置及使用(windows)_anaconda windows_惜洛-Jankin的博客-CSDN博客
2.0 使用清华源和其它源安装
conda install numpy --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
2.1 安装各种包
直接用conda install 安装
2.2 安装gdal(简单)
如果不能联网,将下面这个wheel包拷进去pip就行了。如果能联网,就直接conda install, 如果conda install 失败,就用pip install 试试。如果还不行,就手动下载whl文件,pip安装试试。参考下面两个教程。
linux 安装 gdal python - HaijianYang - 博客园
python安装gdal包 和 gdal学习资料_gdal安装包_晓码bigdata的博客-CSDN博客
2.3 安装opencv
直接conda install
2.4 安装pytorch
2.4.1 windows环境下安装cpu版本的pytorch
非常简单,就是去pytorch官网找到conda安装命令,直接conda中一安装就行。就一行命令。
在anaconda下安装pytorch + python3.8+GPU/CPU版本 详细教程_conda create -n python 3.8-CSDN博客
2.4.2 windows环境下安装gpu版本的pytorch
非常简单,就是去pytorch官网找到conda安装命令,直接conda中一安装就行。就一行命令。,不要用手动安装cuda和cudnn的方式
在anaconda下安装pytorch + python3.8+GPU/CPU版本 详细教程_conda create -n python 3.8-CSDN博客
Pytorch安装(Anaconda配置虚拟环境)(gpu版)_pytorch是虚拟环境吗_feiba54的博客-CSDN博客
不要用下面的链接的这种方式,坑太多了。
win11+MX250+CUDA10.0+pytorch1.5.1安装配置+踩过的坑……_mx250支持cuda吗_野犬Y的博客-CSDN博客
2.5 windows下安装tensorflow
2.5.1 安装cpu版本的tensorflow
conda install tensorflow==2.10
2.5.2 安装gpu版本的tensorflow(比较麻烦点,需要安装其它库)
anaconda安装gpu版本的tensorflow2.0.0教程_anaconda3-python3.10下镜像安装tensorflow-gpu2.0 & keras-CSDN博客
3 linux下anaconda的安装及包管理
linux和windows系统实际上几乎完全一样,只不过windows系统可以通过界面点点点,也可以通过cmd进行各种命令操作。linux系统就是用base环境进行各种命令操作。
对于各种软件,windows怎么弄,linux就怎么弄。
3.1 linux中anaconda的下载
从下面网站下载Anaconda3-2021.04-Linux-x86_64.sh这个文件,就是linux中的anaconda的安装包。只看下载,安装看3.2的教程。
:Linux Anaconda使用、离线安装包及其依赖库_linux离线依赖包_大作家佚名的博客-CSDN博客
3.2 linux中anaconda的安装和使用(命令和windows完全一样)
如何在Linux服务器上安装Anaconda(超详细)_linux_流年若逝-华为云开发者联盟
注意安装好以后要重启终端才可以,否则不重启conda命令还没生效,不要错以为没有安装成功。
如果打开终端,自动就启动了conda的base环境。可以使用 功能关闭默认打开conda的base环境。用的时候conda activate base激活就行。
要关闭在 Linux 终端中自动进入 Anaconda 的 base 环境,你可以使用以下命令:
conda config --set auto_activate_base false
这个命令会将 Anaconda 的自动激活 base 环境的设置关闭。以后,当你启动终端时,不会自动进入 base 环境,你需要手动激活它,可以使用以下命令:
conda activate base
如果你想要重新启用自动激活 base 环境,可以再次运行以下命令:
conda config --set auto_activate_base true
这些命令可以让你更灵活地管理 Anaconda 环境的激活行为。
3.3 linux中安装gdal库
如果不能联网,将下面这个wheel包拷进去pip就行了。如果能联网,就直接pip install 就行。参考下面两个教程。
linux 安装 gdal python - HaijianYang - 博客园
python安装gdal包 和 gdal学习资料_gdal安装包_晓码bigdata的博客-CSDN博客
3.4 安装pytorch(就一行conda install 安装就行,联网很简单)
3.4.1 安装cpu版本的pytorch
cpu和gpu版本的类似,直接就一行命令,conda install 进行安装就可以了
// 也可以指定版本
conda install pytorch torchvision torchaudio cpuonly -c pytorch
联网环境下:
如何在linux上安装GPU版本pytorch_linux安装gpu版本的pytorch_段墨染的博客-CSDN博客
3.4.2 安装Gpu版本的pytorch
安装gpu版本的pytorch,网上有太多版本。基本上分为两个派别:
(1)先确定有gpu显卡,确定有gpu驱动nvidia-smi,
3.4.2.1 直接一行命令
cpu和gpu版本的类似,直接就一行命令,conda install 进行安装就可以了
联网环境下:
如何在linux上安装GPU版本pytorch_linux安装gpu版本的pytorch_段墨染的博客-CSDN博客
3.4.2.2 手动安装cuda、cudnn再按pytorch(不要这样做)
这种方式网上有很多,但是很麻烦,也不能多版本管理。直接就用3.4.2.1节的方式。3.4.2.1节的方式已经被证明可行了。
4 linux在不联网环境下(离线环境)安装anaconda、numpy、opencv、gdal、gpu的pytorch。、
不联网安装的前提是,先把这些安装包都下载好,然后用U盘等拷到linux系统进行pip或者conda进行安装。
4.1 安装Anaconda
看3.1 linux中anaconda的下载。把安装包下载下来拷到linux系统中进行安装就行。
4.2 安装numpy、opencv、gdal
4.2.1 安装库的通用流程conda install (首选)
conda install matplotlib
conda install --use-local 你刚下载的bz2文件即可
离线下载conda包并安装 | 码农家园
4.2.2 安装库的通用流程pip install
直接从清华园等库中中下载whl包,反正所有包都在下面,然后使用下面命令安装就行
pip install /root/SRData/numpy.whl
离线安装pytorch、opencv以及各种镜像安装库_triton-2.0.0-1-cp38-cp38-manylinux2014_x86_64.many_小橙子的博客~的博客-CSDN博客
python离线安装软件包,常用pip安装软件源网址_python库下载网站_六和七的博客-CSDN博客
// pip默认下载的网站
https://pypi.org/
// 豆瓣:
http://pypi.douban.com/simple/
// 清华大学:
https://pypi.tuna.tsinghua.edu.cn/simple/
//中国科技大学:
https://pypi.mirrors.ustc.edu.cn/simple/
//阿里云:
https://mirrors.aliyun.com/pypi/simple/
// 百度:
https://mirror.baidu.com/pypi/simple
4.2.3 安装gdal库
不能联网,将下面这个wheel包拷进去pip就行了。
linux 安装 gdal python - HaijianYang - 博客园
python安装gdal包 和 gdal学习资料_gdal安装包_晓码bigdata的博客-CSDN博客
4.2.4 安装cpu版的pytorch库
离线安装pytorch、opencv以及各种镜像安装库_triton-2.0.0-1-cp38-cp38-manylinux2014_x86_64.many_小橙子的博客~的博客-CSDN博客
4.2.5 安装gpu版pytorch(这个最难,(除了安装torch外还需要安cuda))
cuda+cudnn 等价于cudatoolkits,所以2选1就行,直接按cudatoolkits最为省事方便。
4.2.5.1 直接使用conda命令安装pytorch和cuda(用这种方式)
下载好离线包,离线包就3个就行:
(1)cudatoolkits的.tar.bz2包,用conda安装;
(2)pytorch的wheel包,用pip安装;
(3)tocrvision的wheel包用pip安装;
然后conda install进行cudatoolkits本地安装。
cudatoolkit离线下载conda包并安装 | 码农家园
4.2.5.1.1 记一次错误的安装
配置:
(1)gpu: RTX 3090;
(2)nvidia-smi驱动:11.3
(3)python:3.8
安装:
(1)cudatoolkits: cudatoolkit-10.1.168-0.tar.bz2
(2)pytorch: torch-1.6.0-cp38-cp38-linux_x86_64.whl
(3)torchvision-0.7.0-cp38-cp38-linux_x86_64.whl
安装好以后测试
import torch
// 下面为true也不一定就可用,还需要实际运行代码才行,自己安装了下面是true,后面运行代码就报错了
torch.cuda.is_available()
// 上面返回true
执行深度学习代码报错:
RuntimeError: CUDA error: no kernel image is available for execution on the device。
有一句警告提示:
// 警告
NVIDIA GeForce RTX 3090 with CUDA capability sm_86 is not compatible with the current PyTorch installation.
The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70 sm_75.
If you want to use the NVIDIA GeForce RTX 3090 GPU with PyTorch, please check the instructions at https://pytorch.org/get-started/locally/
原因:
你安装的cudatoolkits可以比gpu驱动显示的11.3小,但是不能无线小,算力不支持。
在python中使用,可以查看支持的算力要匹配
import torch
torch.cuda.get_arch_list()
解决:
torch版本要和gpu对应,算力对应。
torch与gpu硬件对应:
幸福的烦恼:显卡算力太高而pytorch版本太低不支持_cuda版本太高 pytorch不支持_是Yu欸的博客-CSDN博客
4.2.5.1.2 记一次正确的安装(gpu的pytorch,gdal,opencv)
一、配置:
(1)gpu: RTX 3090;
(2)nvidia-smi驱动:11.3
(3)python:3.8
二、寻找版本:
顺序,看gpu硬件和驱动,定pytorch,再定cudn:
1、确定可以用的pytorch,torch版本的算力要和gpu硬件对应,gpu算力太高下载低版本的torch不能用:
比如rtx3090的算力是sm_86;
pytorch只支持sm_37 sm_50 sm_60 sm_70 sm_75
// 查看包支持的算力
import torch
torch.cuda.is_available()
// 上面返回true
torch.cuda.get_arch_list()
幸福的烦恼:显卡算力太高而pytorch版本太低不支持_cuda版本太高 pytorch不支持_是Yu欸的博客-CSDN博客
确定可以使用的是: pytroch 1.8以上版本。
2、确定可以用的cudatoolkits,安装cuda要小于nvidia-smi限制,最好要小于1个版本,反正不能大于,等于有风险;
cudatoolkits不大于gpu驱动显示的最高版本就行:所以cudatoolkits<=11.3
3、pytorch要和cudatoolkits对应,确定好这两个版本,下面的;
【最新】CUDA Toolkit版本及可用PyTorch对应关系(参考官网)_cudatoolkit和cuda的版本_将月藏进诗尾的博客-CSDN博客
Linux下PyTorch、CUDA Toolkit 及显卡驱动版本对应关系(附详细安装步骤) - 知乎
上pytorch官网查看(安装)最新版本的cuda以及对应的pytorch,还有下载命令和下载网址
所以可用的基本上就2个组合:
(1)cudatoolkits11.1 + pytorch1.8,(发现conda下载官网没有cudatoolkits11.1 这个版本的包,所以不能用)
(2)cudatoolkits11.3 + pytorch1.8(或pytorch1.9、pytorch1.11),
最后确定:cudatoolkits11.3 + pytorch1.8
4、torchvision要匹配pytorch。从下面的链接里查。
PyTorch中torch、torchvision、torchaudio版本对应关系_Liekkas Kono的博客-CSDN博客
上pytorch官网查看(安装)最新版本的cuda以及对应的pytorch,还有下载命令和下载网址
最后确定:torchvision0.9
三、安装:
下载,
1、先去conda官网下载cudatoolkits11.3:cudatoolkit-11.3.1-h2bc3f7f_2.tar.bz2
2、再去清华园下载了pytorch、torchvision或torchaudio。
(1)cudatoolkits: cudatoolkit-11.3.1-h2bc3f7f_2.tar.bz2
(2)pytorch: pytorch-1.8.1-py3.8_cuda11.1_cudnn8.0.5_0.tar.bz2(这个下载错了但是发现在cudatoolkits1.13上也能用,本来要下pytorch-1.8.1-py3.8_cuda11.3_cudnn8.0.5_0.tar.bz2的)
(3)torchvision:torchvision-0.9.1-py38_cu111.tar.bz2(这个下错了但是发现在cudatoolkits1.13上也能用,应该下载cu113的版本,不安装这个库也能用深度学习)
这次实验再次证明,安装pytorch和tensorflow的gpu的开发环境,不要安装cuda+cudnn,直接在conda中安装cudatoolkits就行。
总结:
(1)自己在windows和linux中,不论是在线和离线安装的成功实验再次证明,安装pytorch和tensorflow的gpu的开发环境,不要安装cuda+cudnn软件,直接在conda中安装cudatoolkits就行。
(2)配置pytorch的各种版本的关系去下面这个链接看配置关系,然后找各个库就行:
Previous PyTorch Versions | PyTorch
(3)安装带gpu的pytorch有4种方案,从1到4按顺序试哪个能用:
1、全用conda安装包安装(自己成功案例就是这样的):cudatoolkits+pytorch、torchvision或torchaudio;
2、全用pip安装包安装(这种方式没尝试,因为没有cudatoolkits的wheel包);
3、conda+pip:这种方式很常见,conda和pip各按各的包,conda按cudatoolkits;
4、电脑安装cuda软件,cudnn软件,+pip的pytorch包。没用这种方式,以后也不要用,太麻烦。
4.2.5.2 手动安装cuda、cudnn、pytorch(不要用这种方式)
Linux(Ubuntu)配置Cuda,Pytorch,Anaconda_linux配置cuda_Mister Leon的博客-CSDN博客
在安装cudnn的时候安装8.0.2版本没有tar包
这时候选择安装7.6版本,通过下面教程安装
linux下cuda10.1及cudnn安装
Linux离线状态下安装cuda、cudnn、cudatoolkit_cudatoolkit离线安装_字符搬运工-蓝天的博客-CSDN博客
import torch
// 下面为true也不一定就可用,还需要实际运行代码才行,自己安装了下面是true,后面运行代码就报错了
torch.cuda.is_available()
上面torch.cuda.is_available()结果为True,但是实际应用报错
// 警告
NVIDIA GeForce RTX 3090 with CUDA capability sm_86 is not compatible with the current PyTorch installation.
The current PyTorch install supports CUDA capabilities sm_37 sm_50 sm_60 sm_70 sm_75.
If you want to use the NVIDIA GeForce RTX 3090 GPU with PyTorch, please check the instructions at https://pytorch.org/get-started/locally/
报错 RuntimeError: CUDA error: no kernel image is available for execution on the device。
RuntimeError: CUDA error: no kernel image is available for execution on the device。
torch.cuda.is_available(),这个指令的作用是看,你电脑的 GPU 能否被 PyTorch 调用。能调用了但是也不一定成功,可能缺少某些函数。
上面问题是原因是gpu算力太高,下载的torch不支持
幸福的烦恼:显卡算力太高而pytorch版本太低不支持_cuda版本太高 pytorch不支持_是Yu欸的博客-CSDN博客
4.2.5.3 gpu、驱动、cuda、cudnn、pytorch的依赖关系及相互匹配,以及安装时考虑的顺序
cuda+cudnn 等价于cudatoolkits,所以2选1就行,直接按cudatoolkits最为省事方便。
顺序,看gpu硬件和驱动,定pytorch,再定cudn:
1、确定可以用的pytorch,torch版本的算力要和gpu硬件对应,gpu算力太高下载低版本的torch不能用:
torch与gpu硬件对应:
2、确定可以用的cudatoolkits,安装cuda要小于nvidia-smi限制,最好要小于1个版本,反正不能大于,等于有风险;
3、pytorch要和cudatoolkits对应,确定好这两个版本,下面的;
【最新】CUDA Toolkit版本及可用PyTorch对应关系(参考官网)_cudatoolkit和cuda的版本_将月藏进诗尾的博客-CSDN博客
Linux下PyTorch、CUDA Toolkit 及显卡驱动版本对应关系(附详细安装步骤) - 知乎
上pytorch官网查看(安装)最新版本的cuda以及对应的pytorch,还有下载命令和下载网址
4、torchvision要匹配pytorch。从下面的链接里查。
PyTorch中torch、torchvision、torchaudio版本对应关系_Liekkas Kono的博客-CSDN博客
上pytorch官网查看(安装)最新版本的cuda以及对应的pytorch,还有下载命令和下载网址
几个命令
// 查看是否安装了显卡
// 查看是否安装了gpu驱动
nvidia-smi
// 查看是否安装了cuda,不安cuda也能用gpu的torch,只要conda安装cudatoolkits就行,因为cudatoolkits=cuda + cudnn.
nvcc -V
5 windows和linux中运行python文件的3种方式(完全一样)
windows和linux一样,运行python文件3种方式:
5.1 使用pycharm运行代码
windows和linux中都可以下载pycharm编程软件,常用这个。
5.2 在conda环境中,使用python命令运行文件
# 一.进入虚拟环境
conda activate mypytorch
# 进入名为mypytorch的虚拟环境
二.切换到待执行文件的目录
cd /home/user_name/folder_test
三.运行代码(调用其他python文件)
python conda_test.py
5.3 在conda环境中,输入python,然后就打开了python处理模式进行运行
(base) C:\Users\username>python
Python 3.7.4 (default, Oct 13 2019, 14:31:15) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> np.array([1, 2, 3])
array([1, 2, 3])
6 总结
1、 windows和linux系统实际上都一样,本质没有啥区别。
2、windows和linux系统都用anaconda软件进行python库管理,conda命令完全一样。
3、windows和linux中运行python代码的方式完全一致,都是那3种方式。
4、windows和linux中管理python库的方式也一样,anaconda中可以使用pip或者conda。
5、无论是联网还是不联网,pip和conda都可以进行包的安装。比如离线环境下可以使用pip安装.whl包,可以使用conda 安装.gz包。
6、无论是pip还是conda的安装方式,在线安装的原理都是2步:(1)去指定官网去下载对应的包,(2)安装这个包;
7、无论是pip还是conda的安装方式,所谓离线方式,就是把在线安装的2步中的第1步手动代替,在线和离线安装原理完全一样。(1)手动去指定官网下载对应的包;(2)安装这个包;
8、在安装gpu的pytorch的时候。不论是windows还是linux,在联网的情况下有2种方式(windows和linux完全一样,只是库的依赖不一样,标识windows的库或者linux的库),一种是直接使用conda命令进行安装cudatoolkits就可以了(看下面链接1);第2种是手动安装cuda和cudnn,一定要用第一种方式只安装cudatoolkits,第2种方式会出错,还会影响其它环境。
第1种方式:如何在linux上安装GPU版本pytorch_linux安装gpu版本的pytorch_段墨染的博客-CSDN博客
第2种方式: Linux(Ubuntu)配置Cuda,Pytorch,Anaconda_linux配置cuda_Mister Leon的博客-CSDN博客
9、在线状态下安装包的流程:
(1)先用conda install 安装;
(2)如果上一步失败,切换一下conda源,conda install 试一下;
(3)如果上一步失败,再用pip install 试一下;
(4)如果上一步失败,切换一下pip源试一下,pip install尝试一下;
(5)如果上一步失败,下载conda的离线安装包,比如cudnn-7.6.5-cuda9.2_0.tar.bz2,手动本地进行安装。
(6)如果上一步失败,下载pip的离线安装包, 比如GDAL-3.4.1-cp39-cp39-manylinux_2_5_x86_64.xxx.whl,手动本地pip install下载。
10、离线状态下安装包的流程:
(1)先尝试conda,离线下载conda的安装包,然后conda install进行本地安装。
// conda下载库的常用地址
// conda默认下载的网站
https://repo.anaconda.com/pkgs/main
// 清华大学主要库:
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
//清华大学免费库:
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
// 查看源
conda config --show-sources
// 添加源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes
// 换回默认源
conda config --remove-key channels
(2)如果上一步失败,再尝试pip方式,离线下载pip的.whl安装包,然后pip install进行本地安装。
离线包下载网址:
// pip下载库的常用地址
// pip默认下载的网站
https://pypi.org/
// 离线下去下面这个里面好找
https://download.pytorch.org/whl/torch_stable.html
// 豆瓣:
http://pypi.douban.com/simple/
// 清华大学:
https://pypi.tuna.tsinghua.edu.cn/simple/
//中国科技大学:
https://pypi.mirrors.ustc.edu.cn/simple/
//阿里云:
https://mirrors.aliyun.com/pypi/simple/
// 百度:
https://mirror.baidu.com/pypi/simple
11、总结来说:
实际上管理包一共4种方式:
一、conda 管理:
(1)在线安装;
(2)离线本地安装;
二、pip 管理:
(3)在线安装;
(4)离线本地安装;
12、 安装包需要gpu的深度学习库:
自己在windows和linux中,不论是在线和离线安装的成功实验再次证明,安装pytorch和tensorflow的gpu的开发环境,不要安装cuda+cudnn软件,直接在conda中安装cudatoolkits就行。