Ubuntu 20.04 系统（双系统环境下）中深度学习环境配置（Pytorch + GPU）

已于 2022-10-21 10:32:19 修改
阅读量6k 收藏 101
点赞数 17
分类专栏： Ubuntu 安装与配置 知识图谱嵌入（KGE） 文章标签： ubuntu pytorch 深度学习 GPU CUDA
于 2022-03-01 22:58:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40506723/article/details/123196056
版权

Ubuntu 20.04 系统（双系统环境下）中的深度学习环境配置（Pytorch + GPU）

🍀 前序（避坑）

上回我在虚拟机中装的 Ubuntu，并安装 Nvidia 驱动，输入命令 ubuntu-drivers devices，可以看到无推荐安装的驱动，如下所示：

在这里插入图片描述
最后使用 sudo apt install nvidia-driver-510 安装，后来安装 cuda 后，用 nvcc -V 检查，也证明确实安装成功了：

在这里插入图片描述
但始终不能解决这个问题：

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.

后来经过种种资料和事实证明：虚拟机中不支持安装Nvidia驱动，于是我装了 Windows + Ubuntu 双系统，并在 Ubuntu 系统中进行实验，终于成功，希望大家避坑

🍀 安装 Nvidia 驱动

可以看到，出现了很多推荐的驱动，这才正常：

在这里插入图片描述
同意安装推荐版本（510），在终端输入如下命令，即可自动安装

sudo ubuntu-drivers autoinstall

安装成功，如图所示：NVIDIA-SMI 510.47.03

在这里插入图片描述

🍀 安装 CUDA 11.5

安装教训：

  1. 我之前安装的cuda11.6，直到安装cuDNN才发现没有对应的版本，这也提示我们要安装cuda前，先去看看cuDNN对应的cuda版本。大家如果是初次安装，可以跳过下面的卸载命令
  2. 不要安装版本不对应的cuDNN，我初次安装cuda11.6版本，而cuDNN最高支持11.5，我安装了，结果验证cuDNN不能使用，所以不要有侥幸心理
sudo /usr/local/cuda-11.6/bin/cuda-uninstaller
sudo rm -rf /usr/local/cuda-11.6/

输入命令进行安装：

wget https://developer.download.nvidia.com/compute/cuda/11.5.0/local_installers/cuda_11.5.0_495.29.05_linux.run
sudo sh cuda_11.5.0_495.29.05_linux.run

在这里插入图片描述
在这里插入图片描述

具体安装过程：
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述
环境变量：

打开文件，配置环境变量，然后用nvcc -V查看 cuda 信息，证明 cuda 安装成功

gedit ~/.bashrc
export PATH=/usr/local/cuda-11.5/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-11.5/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
source ~/.bashrc

在这里插入图片描述
在这里插入图片描述

🍀 安装 cuDNN for CUDA 11.5

cuDNN 是对 CUDA 的补充，需要 Nvidia 账号和密码，注册登录即可下载，本节中我找到 CUDA11.5 对应版本的 cuDNN进行安装，参考了一篇不错的博客： Ubuntu 20.04安装CUDA 11.0、cuDNN 8.0.5、PyTorch 1.7.0

在这里插入图片描述
下载成功

在这里插入图片描述
解压上图黄色的压缩包到当前文件夹

tar zxvf cudnn-11.5-linux-x64-v8.3.0.98.tgz -C ./

解压后多了一个 cuda 目录

在这里插入图片描述

cuda目录下面有include和lib64两个子目录，将这两个目录下面的所有文件拷贝到CUDA 11.6的安装路径对应的目录下面即可，作为对cuda的补充

sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64

完成后，删除.tgz文件和cuda文件夹，已经没用了

更改usr/local/cuda/下的include和lib64文件夹的权限，否则会出问题

sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*

附：常用的修改权限的指令

sudo chmod 600 ××× （只有所有者有读和写的权限）
sudo chmod 644 ××× （所有者有读和写的权限，组用户只有读的权限）
sudo chmod 700 ××× （只有所有者有读和写以及执行的权限）
sudo chmod 666 ××× （每个人都有读和写的权限）
sudo chmod 777 ××× （每个人都有读和写以及执行的权限）

在这里插入图片描述
安装其余三个Deb包

注意：这三个包的安装顺序不要乱

sudo dpkg -i libcudnn8_8.3.0.98-1+cuda11.5_amd64.deb
sudo dpkg -i libcudnn8-dev_8.3.0.98-1+cuda11.5_amd64.deb
sudo dpkg -i libcudnn8-samples_8.3.0.98-1+cuda11.5_amd64.deb

安装第一个Deb包时候，弹出根目录空间剩余0，记得当时设置了25.5G，确实太小，于是我扩容了根目录后，重新进行安装三个包：

在这里插入图片描述
验证是否安装成功

cp -r /usr/src/cudnn_samples_v8/ ~
cd ~/cudnn_samples_v8/mnistCUDNN/
make clean && make
./mnistCUDNN

报以下编译错误 fatal error: FreeImage.h

在这里插入图片描述
尝试解决

sudo apt-get install libfreeimage3 libfreeimage-dev

无用，即使sudo apt-get update后再试这条命令：

在这里插入图片描述
找了半天，终于有一篇博客拯救我

  • 失败原因：各种系统资源安装包等、其挂载的服务器可能是国外的或者此时访问的人数过多导致连接超时后服务器连接失败，致使资源下载失败
  • 解决方案：可以把原来的cn.archive.ubuntu.com服务器地址更换成网易163的服务器源，能有效的提高各种资源的下载速度和安装速度

操作如下

1. 找到sources.list文件，用文本编辑器打开

在这里插入图片描述
2. 文件全选，替换为如下代码（我的系统是ubuntu 20.04，所以用focal，大家可以用lsb_release -a查看并相应替换代码中所有的focal，然后整体再替换sources.list）

在这里插入图片描述

deb http://mirrors.163.com/ubuntu/ focal main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ focal-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ focal-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ focal-proposed main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ focal-backports main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ focal main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ focal-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ focal-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ focal-proposed main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ focal-backports main restricted universe multiverse

3. 之后sudo apt-get update一下，执行sudo apt-get install libfreeimage3 libfreeimage-dev，不报任何错，至此，我们再验证cuDNN是否安装成功

在这里插入图片描述
4. 执行make clean && make，不报错，再次验证编译错误 fatal error: FreeImage.h已解决
在这里插入图片描述
5. 执行./mnistCUDNN，最后显示Test Passed!，激动到哭

在这里插入图片描述

🍀 安装 Pytorch

换源，首先打开文件：

gedit ~/.condarc

将下面代码进行替换：

channels:
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
show_channel_urls: true

在这里插入图片描述
刷新路径：

source ~/.bashrc

打开官网：
在这里插入图片描述
执行命令：conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch，输入yes，等待安装完成

在这里插入图片描述

🍀 验证 Pytorch + GPU 环境是否搭建成功

python3
import torch
import torchvision
print(torch.cuda.is_available())

输出True，代表环境配置成功

在这里插入图片描述

🍀 注意事项

我们安装的Cuda版本是11.5，可以进入如下目录，打开version.json文件查看
在这里插入图片描述
但是在终端输入nvidia-smi命令，看到的cuda版本是11.6，如下图所示。不要慌，这是因为上边的11.6版本只是当前驱动推荐的Cuda版本，并不代表已安装的
在这里插入图片描述

🍀 附：Ubuntu系统下查看显卡相关信息

欢迎评论区纠错和讨论！希望自己走的弯路，能让大家避开，更多疑问联系我，QQ：743337163

白白净净吃了没病
关注
  • 17
    点赞
  • 踩
  • 101
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Ubuntu 配置 NVIDIA GPU环境开展深度神经网络研究
iCloudEnd的博客
03-01 692
总之，本文展示了有关如何安装 NVIDIA GPU 驱动程序、CUDA 和 Torch 以训练深度学习模型的分步指南。此外，还执行了一个简单的测试，以确保整个安装已成功执行。在后续文章中，我们将展示如何设置 NVIDIA GPU 以与主要用于推理的 Docker 顺畅协作。
【2023最新版】Win11: WSL（Ubuntu22.04）使用GPU 加速教程（通过Anaconda搭建深度学习环境）
天地玄黄 魑魅魍魉 风花雪月 商角徵羽 暂时停更 十月重见
08-04 5260
本文介绍了在WSL2上配置GPU加速的步骤。首先，安装WSL2，然后获取NVIDIA驱动程序以支持GPU； 介绍了在WSL2上使用Anaconda来搭建深度学习环境，包括创建虚拟环境、安装适用于GPU的深度学习框架tensorflow-gpu2.3.0，以及测试； 介绍了如何在WSL上设置TensorFlow-DirectML，并进行虚拟环境的创建、机器学习框架的安装和测试。
Ubuntu Linux 下 FreeImage 编译失败
最新发布
...
05-10 300
在C++11及以后的版本中，动态异常规格（dynamic exception specifications，也就是函数声明后的throw(...)部分）已经被废弃，并在C++17中完全移除。 因此，编译包含这种动态异常规格的代码时，编译器会报错。
Ubuntu配置pytorch gpu环境（含Cuda+Cudnn+pytorch-gpu+卸载）
lovely_yoshino的博客
07-05 1万+
概述 步骤如下： 安装NVIDIA Cuda 安装NVIDIA CuDNN 安装GPU版本的PyTorch 卸载NVIDIA Cuda 一.安装NVIDIA Cuda 安装cuda10.0 1.官网下载cuda安装文件 <1>.进入cuda官网下载，选择10.0版本： <2>.选择这里下载，可使用win下迅雷工具下载，速度快。 2.开始安装cuda10.0 <1>.拷贝完成.run文件后，进入所在目录，对文件添加可执行权限： sudo chmod a+x cud
ubuntu18.04安装gpu版本的pytorch
myyzqt的专栏
07-02 2911
一 安装anaconda 1.下载Anaconda 清华大学开源软件镜像站 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载 国内太慢 镜像下载地址和修改方法参考博客：https://blog.csdn.net/wuzhiwuweisun/article/details/82689151 下载版本Anaconda3-5.3.1-Linux-x86_64.sh，自带python版本是3.7 2.安装Anaconda 首先切换到ana
ubuntu18.04 &&NVIDIA装机 ＆＆pytorch 开发环境安装指南
Colin_xuan的博客
03-08 967
写下此文章目的是以后在装机的时候直接来参考，不用到处找命令 一：安装ubuntu18.04 桌面版本 带GPU 装机的时候要显示屏要接到主板的视频输出口，装完系统，把显示屏接到显卡输出口，因为系统一般会自带nouveau驱动。这个时候要把ｓｓｈ，ｓａｍｂａ，静态ｉｐ配好 　其中在装机过程中，选择清楚整个磁盘并安装ｕｂｕｎｔｕ　，如果要自定义分区，选择其他选项 然后就会让你重新划分磁盘，有几个区是必须要有的 ｅｆｉ　分区。大约１Ｇ，类型逻辑分区 ｓｗａｐ　分区，看自己硬盘大......
Ubuntu20.04+3090ti+python3.7+tensorflow+pytorch下conda环境配置文件.yml
04-17
Ubuntu20.04+3090ti+python3.7+tensorflow+pytorch下conda环境配置文件.yml 详情可查看博客：https://blog.csdn.net/weixin_42213421/article/details/124225950 python=3.7.13 tensorflow-gpu=2.8.0 tensorboard=...
Ubuntu20.04+3090ti+python3.6+tensorflow+pytorch下conda环境配置文件.yml
04-17
Ubuntu20.04+3090ti+python3.6+tensorflow+pytorch下conda环境配置文件.yml 详情可查看博客：https://blog.csdn.net/weixin_42213421/article/details/124225950 python=3.6.13 tensorflow-gpu=2.6.2 tensorboard=...
YOLOv5(PyTorch)实战：训练自己的数据集(Ubuntu)
06-30
YOLO系列是基于深度学习的端到端实时目标检测方法。 PyTorch版的YOLOv5轻量而性能高，更加灵活和便利。  本课程将手把手地教大家使用labelImg标注和使用YOLOv5训练自己的数据集。课程实战分为两个项目：单目标检测...
基于python+pytorch的车道线检测源码+项目部署教程.zip
08-21
操作系统：Ubuntu20.04 IDE：vscode Python: 3.6.13 PyTorch: 1.10.2+cu113 CUDA：113 GPU：NVIDIA GeForce RTX 3090 ``` （2）完整的安装脚本 # Linux ​ 这里便是一个完整安装 MMSegmentation 的脚本，使用 ...
动手学深度学习-准备工作-利用WSL2安装Ubuntu系统并搭建深度学习环境
m0_53397118的博客
06-18 2550
利用微软虚拟机wsl2安装ubuntu并进行深度学习环境搭建，解决了双系统切换麻烦，其他虚拟机运行卡顿且英伟达驱动安装麻烦的问题
ubuntu22.04服务器 英伟达 tesla A40安装深度学习环境
tangshopping的博客
12-09 725
从零开始搭建深度学习服务器
ubuntu安装 anaconda pytorch(gpu版本) cuda cudnn jupyterlab
Frank_Storming的博客
08-26 1034
最近要在服务器上配置个跑深度学习的环境，查了许多教程，总结一下。
【ubuntu环境配置】超详细ubuntu20.04/22.04安装nvidia驱动/CUDA/cudnn
热门推荐
HIT_Vanni的博客
11-07 3万+
本文详细阐述了ubuntu20.04/22.04在安装nvidia驱动/CUDA/cudnn时的详细操作，具体如下：nvidia显卡驱动安装方式有三种：使用ubuntu附加驱动的方式；使用命令行方式安装；使用.run文件的方式进行安装。以及run文件安装cuda，解压缩安装cudnn以及其对应的版本之间的关系。
在KVM下使用ubuntu19.10安装Anbox
肖丁的博客
05-08 1334
导言 Anbox是一个Android模拟器，可以从linux系统运行Android应用程序或游戏。对于Anbox的安装已经有了各种教程，主要针对ubuntu18.04之前的版本。最近在做一个关于虚拟机中跑安卓的项目，因此在虚拟机中使用ubuntu18.04系统，然后按照指导搭建Anbox模拟器。但是很遗憾Anbox未能成功的跑起来。 为什么Anbox启动失败呢？ 在ubuntu18.04使用cir...
Vmware 中 Ubuntu 20.04 安装 NVIDIA CUDA以及 cuDNN
Sizaif's 小屋
04-17 3万+
Vmware 中 Ubuntu 20.04 安装 NVIDIA CUDA以及 cuDNN 文章目录Vmware 中 Ubuntu 20.04 安装 NVIDIA CUDA以及 cuDNNvSphere Bitfusion Client前提条件安装过程CUDACUDNN 为了使用Tensorflow GPU 尝试在vmware中 安装cuda , 但是 vmware不允许直接安装nvidia驱动; 采用 vSphere Bitfusion 技术来间接使用CUDA 参考链接 vSphere Bitfusio
ubuntu系统环境指定GPU的使用
计算机视觉
12-06 3178
1 改变系统变量 改变系统环境变量仅使目标显卡,编辑 .bashrc文件，添加系统变量 export CUDA_VISIBLE_DEVICES=0 linux的bashrc文件在/home目录下，但是是一个隐藏bai文件，在文件管理器里面du按Ctrl+H即可显示(显示为.bashrc，前zhi面小点儿表示隐藏文件）。也可以直接利用terminal直接打开 1 sudogedit～/.bashrc gedit换成你自己的文本编辑器，比如vim、atom，KDE桌面环境的默认是kate...
Ubuntu使用GPU深度学习加速的环境配置
xu.hyj
11-20 4064
1. 下载GPU驱动 去官网根据条件下载对应的GPU驱动文件，得到.run文件 2. 禁用Nouveau 驱动 禁用 Nouveau 驱动 3. 安装驱动 依次执行以下命令: sudo apt install make sudo apt install gcc sudo chmod 777 xx.run sudo apt-get remove --purge nvidia* sudo bash xx.run 然后出现选择时，一路默认即可 最后验证是否安装成功，使用命令nvidia-smi，会出现以下证明成
虚拟机Ubuntu安装NVIDIA GPU
05-18
要在Ubuntu虚拟机中安装NVIDIA GPU，您需要执行以下步骤： 1. 首先，确认您的NVIDIA GPU支持虚拟化。如果您使用的是NVIDIA GRID GPU，则它已经支持虚拟化。如果您使用的是普通的NVIDIA GPU，则需要检查其是否支持虚拟化。您可以在NVIDIA网站上找到有关GPU虚拟化支持的更多信息。 2. 确保您的主机操作系统已经安装了NVIDIA驱动程序。如果您的主机操作系统是Windows，则可以从NVIDIA网站下载并安装最新的驱动程序。如果您的主机操作系统是Linux，则可以使用您的发行版的软件包管理器安装NVIDIA驱动程序。 3. 在虚拟机中安装NVIDIA虚拟GPU管理程序（vGPU）。您可以从NVIDIA网站下载vGPU软件包，并根据NVIDIA的文档进行安装。 4. 在虚拟机中安装NVIDIA GPU驱动程序。您可以从NVIDIA网站下载最新的Linux GPU驱动程序，并根据NVIDIA的文档进行安装。 5. 配置虚拟机以使用NVIDIA GPU。您需要将虚拟机的配置文件进行修改，以便启用vGPU和为虚拟机分配足够的GPU资源。 完成上述步骤后，您就可以在Ubuntu虚拟机中开始使用NVIDIA GPU了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

白白净净吃了没病

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值