构建Pytorch虚拟环境

已于 2023-03-09 16:19:03 修改
阅读量3.9k 收藏 23
点赞数 5
分类专栏： 环境配置 深度学习 文章标签： pytorch
于 2020-07-30 11:28:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39953680/article/details/107320721
版权

构建Pytorch虚拟环境

查看显卡状态(Linux、Windows)

nvidia-smi

在这里插入图片描述
在这里可以看到已装显卡型号、显存占用、哪些进程在占用显存、驱动版本、驱动可支持最高cuda版本

发现显存不足时可杀掉目前占用显存的非关键进程（如带python的进程）

kill -9 (PID编号)

如果nvidia-smi命令下显示显存被占用但没有显示占用进程，可输入下面命令进一步查看：

fuser -v /dev/nvidia*

若查看显卡状态指令无效，需给nvidia显卡装上对应的驱动。

创建虚拟环境

Linux安装Anaconda

到Anaconda官网找到Liunx版本的Anaconda，cd到安装包根目录下，安装(尽量不要在root下装)：

bash Anaconda3-2020.11-Linux-x86_64.sh

安装完成后修改全局环境变量文件（也可以修改~/.bashrc，但修改该文件只能对当前用户有效，其他用户也得自行修改）：

sudo nano /etc/profile

在文件内加入语句：

export PATH=$PATH:/home/xx/anaconda3/bin

这里我写入的时Anaconda默认的安装目录。
然后激活文件：

source /etc/profile

输入指令，若能看到conda版本即配置完成：

conda -V

输入下面指令可看到conda的各种配置(如虚拟环境目录env_dirs)：

conda config --show

另外，为了使用Anaconda带的pip而非系统原本的pip，可修改~/.bashrc文件：

sudo nano ~/.bashrc
alias pip=/home/xx/anaconda3/bin/pip
source ~/.bashrc

输入pip -V查看是否修改成功

使用虚拟环境中pip安装包到当前虚拟环境：

python -m pip install (包)

开始配置

可使用命令行的方式创建（windows、Linux）：

conda create -n (虚拟环境名称) python=(你的python版本，如3.7)

对于Windows，也可以打开Anaconda Navigator使用图形界面安装：
在这里插入图片描述
使用命令行可查看已经建立的虚拟环境：

conda info -e

在这里插入图片描述

使用命令行进入到你已经建立好的pytorch使用的虚拟环境：

conda activate (虚拟环境名称)

在这里插入图片描述
使用命令行可删除某一虚拟环境：

conda remove -n (虚拟环境名称) --all

对于VScode，若想使用Jupyter Notebook，也就是跑ipynb文件，还需装下面两个包

conda install nb_conda
conda install ipykernel

新建一个ipynb文件，选择对应的虚拟环境对代码进行解析，代码能跑而不卡死即可
在这里插入图片描述
若卡死，可更新这两个包

pip install --upgrade ipykernel

安装Cuda和Cudnn

到nvidia官网下载对应版本的cuda toolkit
在这里插入图片描述
选择自己需要的版本，对于下面的wget命令可直接复制到浏览器上通过浏览器下载
在这里插入图片描述
安装成功：
在这里插入图片描述
加入环境变量中：

sudo nano ~/.bashrc
export LD_LIBRARY_PATH=/usr/local/cuda-11.1/lib64:/usr/local/cuda/extras/CPUTI/lib64
export CUDA_HOME=/usr/local/cuda-11.1/bin
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
source ~/.bashrc

输入命令验证：

nvcc -V

在这里插入图片描述
继续到nvidia官网下载cudnn，这里需要先注册一个nvidia账号
在这里插入图片描述
解压文件：

tar -zxvf cudnn-11.1-linux-x64-v8.0.5.39.tgz

将得到的文件放入指定位置：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

安装pytorch

方法一

到pytorch官网找到自己对应的pytorch版本：（这里cuda版本能向下兼容，也就是说11.1的cuda能运行cuda10.2的torch）
在这里插入图片描述
激活虚拟环境后若直接在Anaconda Prompt（Linux直接在Terminal）输入命令行(下到某个包因网络问题失败时重新输入指令可继续下载)：

conda install pytorch torchvision cudatoolkit=10.2 -c pytorch

可能会因为网络问题安装失败，可以采用添加镜像源的方法，进入清华镜像源官网，找到pypi和conda对应的镜像地址，Anaconda添加方式如下：

conda config --add channels (镜像源地址)
https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

并且设置下载某个包时显示这个包的下载源

conda config --set show_channel_urls yes

使用conda config --show找到channels这一块可查看是否成功添加该镜像源
在这里插入图片描述

最后记得不要直接使用官网提供的命令行，因为这依然会从官网下载pytorch；应使用：（记得要在自己建立好的虚拟环境内安装）

conda install pytorch torchvision cudatoolkit=10.2

方法二

输入官方指令后在控制台中会出现即将要安装的包，不要点确认下载，退出在这里插入图片描述
然后上到Anaconda Cloud，搜索找到对应版本的pytorch、cudatoolkit、torchvision、torchaudio，放到Anaconda安装目录下的pkgs文件夹下
在这里插入图片描述
执行命令行后耐心等待其提取成功：

conda install --use-local pytorch-1.7.1-py3.8_cuda110_cudnn8_0.tar.bz2

方法三

也可尝试pip安装，若直接使用官网给的指令下得很慢，可选择换个时间段再下（很玄学，有的时候下得特别快），也可指定镜像源（但镜像源里面的pytorch可能不支持最新版本的显卡，本人就遇到下下来后报3080无法使用的问题），如果中途下载失败可重复几次：

pip install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

最后在Jupyter中新建一个文本或直接命令行写入并运行代码，查看是否安装成功：

import torch
print(torch.__version__)
x = torch.tensor([1]).cuda()
print(x)

pip更换清华镜像源

在新建.pip文件夹：

mkdir ~/.pip

在该文件夹下新建pip.conf文件：

cd ~/.pip
touch pip.conf

在该文件内写入：

sudo nano pip.conf
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

阿里云似乎更稳
[global]
index-url = http://mirrors.aliyun.com/pypi/simple/
trusted-host = mirrors.aliyun.com

Conda配置修改

conda config --add (某个配置项) (添加的值)
conda config --remove (某个配置项) (删除的值)
conda config --remove-key (某个配置项) 能够将配置项还原为默认设置
如添加虚拟环境路径：conda config --add envs_dirs /home/dell/anaconda3/envs/
如删除某个镜像源：conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

多版本cuda切换

有的github代码支持的是低版本torch，而低版本torch一般不支持太高版本的cuda，这时候就需要切换到低版本cuda（这里以cuda11.1切换到cuda10.0为例），同样的到nvidia官网下载10.0的cuda-toolkit，安装

sudo sh cuda_10.0.130_410.48_linux.run

发现新版本的gcc-9不支持10.0的cuda-toolkit编译
在这里插入图片描述
重新下载低版本的gcc-7

sudo apt install gcc-7

删除原来的gcc软链接并将链接指向gcc-7

sudo rm -rf /usr/bin/gcc
sudo ln -s /usr/bin/gcc-7 /usr/bin/gcc

重新安装cuda-toolkit10.0，安装过程中有直接修改软链接的选项：
在这里插入图片描述
后面需要切换时同样可以先删除后重链接

sudo rm -rf /usr/local/cuda
sudo ln -s /usr/local/cuda-10.0 /usr/local/cuda

查看是否链接成功：

stat cuda
在这里插入图片描述

再修改环境变量即可

sudo nano ~/.bashrc
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64:/usr/local/cuda/extras/CPUTI/lib64
export CUDA_HOME=/usr/local/cuda-10.0/bin
export PATH=$PATH:$LD_LIBRARY_PATH:$CUDA_HOME
source ~/.bashrc

输入nvcc -V验证是否成功
在这里插入图片描述

King_Tom
关注
  • 5
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
fruits-classification-pytorch:基于CNN的深度学习的水果识别
04-22
CNN（卷积神经网络）深度学习水果分类识别及应用 作者信息 姓名：朱帅 博客： Email： Github: 指导老师：方志伟 项目各文件夹说明 存放相关源代码和资源 存放用于训练的数据集，包括训练集和测试集 用于存放最终软件的编译结果和一些编译临时文件 用于存放生成的模型文件和数据标签 环境要求 模型训练/开发环境 操作系统：Windows / Linux / macOS 开发环境：Python3.7 开发语言：Python 依赖安装： pip3 install -r requirements.txt pip3 install pyinstaller 注：如果不想污染环境，建议新建一个虚拟环境 Pytorch 官方手册 URL： 开发 / 模型训练 / 构建 开发 请切换到 src 目录进行开发 模型的训练和测试 切换工作目录到 src 目录，执行如下指令 python tra
pytorch-guide:PyTorch 指导团队
08-04
pytorch 指南 《PyTorch 指南》剧组的目标是使用 PyTorch 构建一个假实验室独有的固体材料，可以处理从人工智能基础知识到轻型使用的一切。 我们希望通过创造广泛使用的材料为 AI 生态系统做出贡献。 概念页： 构建页面： : jupyter 书籍构建 在里面 页面创建以.md 、 .ipynb格式编写 使用命令 建议安装anaconda prompt 建议在虚拟环境中安装（可选） git 克隆 git clone https://github.com/Pseudo-Lab/pytorch-guide.git 移动页面创建文件 pytorch-guide/book/docs 写入ch1文件夹 更改_toc.yml 更改pytorch-guide/book的_toc.yml文件 format : jb-book root : docs/index chapt
anaconda虚拟环境中安装 pytorch
qq_58530396的博客
03-06 403
效果：CUDA Version:11.0。再输入import torch。再输入：nvidia-smi。win+r 键：输入cmd。虚拟环境输入python。
使用Anaconda3创建pytorch虚拟环境
weixin_43200943的博客
07-26 4892
其中-c pytorch中的c表示channel，即下载渠道，是国外的渠道，所以很有可能会出现安装非常缓慢的情况。利用nvidia-smi命令查找的本机CUDA版本，可以对应在PyTorch这里查找安装对应型号的pytorch包的命令。其中base为Anaconda的默认环境，mypytorch是之前搭建的环境，my2pytorch就是现在搭建出来的pytorch环境。下载完成后，可以在pytorch环境下，同上述输入conda list命令查看安装好包后的所有包的列表。必须要在pytorch环境中输入！
【超详细】pytorch安装及配置
qq_56550595的博客
07-07 1万+
超详细的pytorch的安装和配置
pytorch环境的配置（超级详细）
weixin_67957872的博客
10-13 6337
详细介绍了如何在conda环境下配置pytorch
搭建Pytorch虚拟环境基础教程（Windous）
weixin_46056079的博客
06-25 1224
本文详细介绍了在Anaconda中配置Pytorch虚拟环境的全过程，并对在配置Python解释器时遇到的Conda executable is not found错误给出了解决方案。
Pytorch安装及配置环境
qq_41213229的博客
07-20 1万+
打开pycharm，新建项目，项目路径设置，项目编译器的选择，点击展开，因为已经创建了pytorch的环境，选择已存在的，interpreter下拉菜单中选择，若无选项，则点击三点按钮，选择conda环境，在右边下拉列表中选择，若无，则手动选择，点三点按钮，找到anaconda的安装地址，envs下面，选择pytorch环境，点击python.exe，点击确定，点击OK，可以看到已经导入之前创建的pytorch的环境，点击create完成。根据错误提示，找到路径，删除重复的.pyc文件，重新运行即可。
pytorch环境创建
m0_74133468的博客
07-09 269
下载完成后在开始菜单会出现Anaconda Navigator、Anaconda Powershell Prompt、Anaconda Prompt 、Jupter Notebook。3、在pytorch官网下载安装pytorch ,torchvision ,torchaudio （命令行）2、打开Anaconda Prompt 此时应该就有一个base环境了。输入conda list，查看有没有pytorch 或者torch。输入 torch.cuda.is_available()
pycharm创建虚拟环境（傻瓜式、超简单）
qq_38148600的博客
05-17 2762
pycharm创建torch-gpu虚拟环境（手动、requirements.txt、requirements.yml）
Anaconda创建Pytorch虚拟环境（排坑详细）
热门推荐
weixin_53534399的博客
07-24 5万+
利用conda指令搭建Pytorch环境，并在Pytorch环境中安装GPU版Pytorch相关包。
speech:语音到文本的端到端模型的PyTorch实现
04-28
我们建议创建一个虚拟环境并在其中安装python要求。 virtualenv source <path>/bin/activate pip install -r requirements.txt 然后按照适用于您的计算机的版本的安装说明进行操作。 安装所有python需求后，从...
apex_dqn_pytorch:皮卡丘排球的Ape-x DQN实现
04-27
我构建了python环境来获取游戏的屏幕截图，以提供状态信息并检测游戏的开始和结束。 我使用mss进行屏幕截图，使用cv2预处理图像，使用Pynput按下键盘，并使用tensorboardX记录日志。 我为每个参与者使用Xvfb创建了...
Jarvis_AI:Jarvis AI是一个Python模块，能够执行聊天机器人，助手等任务。它为任何助手应用程序提供基本功能。 该JarvisAI使用Tensorflow，Pytorch，Transformers和其他开源库和框架构建
05-09
JarvisAI 上次更新时间：2021年2... 因此，我建立了一个名为“ JarvisAI”的库，该库为您提供了轻松的功能来构建自己的虚拟助手。 在此处查看更多详细信息-https 2.先决条件- 要使用它，仅需要Python（> 3.6）。 为项目
李沐-16 PyTorch 神经网络基础【动手学深度学习v2】
小菜的博客
04-16 681
它的任何子类都必须定义一个将其输入转换为输出的前向传播函数， 并且必须存储任何必需的参数。在定义我们自己的块时，由于框架的自动微分提供了一些后端实现，我们只需要考虑前向传播函数和必需的参数即可。使用块进行抽象的一个好处是可以将一些块组合成更大的组件， 这一过程通常是递归的，如图所示。通过定义代码来按需生成任意复杂度的块， 我们可以通过简洁的代码实现复杂的神经网络。在下面的代码片段中，我们从零开始编写一个块。这个前向传播函数非常简单： 它将列表中的每个块连接在一起，将每个块的输出作为下一个块的输入。
用 Pytorch 训练一个 Transformer模型
最新发布
hawk2014bj的博客
04-19 220
昨天说了一下Transformer架构，今天我们来看看怎么 Pytorch 训练一个Transormer模型，真实训练一个模型是个庞大工程，准备数据、准备硬件等等，我只是做一个简单的实现。因为只是做实验，本地用 CPU 也可以运行。 本文包含以下几部分： 引入所需工具类库 引入需要的类库，pytorch 是强大的训练框架，深度学习中需要的一些函数和基本功能都已经实现。 Position Embedding 生成位置信息。 多头注意力 初始化model 维度，头数，每个头的维度。 计算是在 forward
pytorch-手写数字识别之全连接层实现
wyw0000的博客
04-19 283
pytorch-手写数字识别之全连接层实现
学习基于pytorch的VGG图像分类 day4
2301_79973431的博客
04-13 405
这里我是用的是绝对路径，可以改成基于上级文件的路径。1.记得导入VGG模型。2.结果进行可视化处理。
Pytorch实用教程：nn.LSTM内部是如何实现的
惊鸿若梦一书生
04-19 348
nn.LSTM对象在 PyTorch 中负责创建一个LSTM 层。input_size：输入特征的维度。：LSTM 隐藏层的维度。num_layers：堆叠的 LSTM 层的数量（默认为1层）。bias：是否使用偏置（默认为True）。：输入和输出的维度顺序是否为 (batch, seq, feature)（默认为False，即 (seq, batch, feature)）。dropout：如果大于0，则除了最后一层外，其他层后会添加一个dropout层。：是否使用双向。
Anaconda+Pytorch
10-08
Anaconda是一个用于科学计算的Python发行版，它包含了很多常用的科学计算库和工具。而PyTorch是一个用于构建深度学习模型的开源机器学习框架。 在使用Anaconda安装PyTorch时，可以使用conda命令来创建一个新的虚拟环境，并在该环境中安装PyTorch。以下是安装PyTorch的步骤： 1. 首先，在Anaconda官网下载并安装Anaconda发行版。 2. 打开Anaconda Prompt（Windows）或Terminal（Linux/macOS）。 3. 创建一个新的虚拟环境，可以使用以下命令： ``` conda create -n myenv python=3.8 ``` 这将创建一个名为myenv的虚拟环境，并指定Python版本为3.8。您可以根据需要更改环境名称和Python版本。 4. 激活虚拟环境，运行以下命令： ``` conda activate myenv ``` 5. 安装PyTorch，可以使用以下命令： ``` conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch ``` 这将安装PyTorch及其相关的库和依赖，还会安装与CUDA 10.2兼容的GPU版本。 6. 安装完成后，您可以在Python脚本中导入PyTorch，并开始使用它构建深度学习模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值