双系统Ubuntu22.04深度学习环境配置与踩坑记录

最新推荐文章于 2024-01-22 13:57:37 发布
最新推荐文章于 2024-01-22 13:57:37 发布
阅读量8.1k 收藏 74
点赞数 12
文章标签： 深度学习 ubuntu 机器学习 pytorch tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51756687/article/details/124576173
版权

双系统Ubuntu22.04深度学习环境配置踩坑记录

前言

大创项目要用linux深度学习。新手小白一点点摸索装ubuntu配置环境。（Windows真的比ubuntu友善太多了）中途遇到很多问题，网上解决方法参差不齐，且适用的方法很难找，特此记录一下，希望能帮到配置环境的朋友

注：本人用了vpn所以各种下载速度还行，如果各位连不上外国服务器的话可以把源换成国内镜像

目录

相关版本

本人最后配置的环境为：

  1. NVIDIA驱动 ：510.60.02 （在终端输入nvidia-smi (注意这里没有空格)）

  2. CUDA：11.5（在终端输入 nvcc -V (注意这里有空格)）
    在终端输入nvcc -V

  3. cuDNN在这里插入图片描述

  4. Pytorch:1.11.0 配置环境时python为3.9.12

  5. Tensorflow:2.8.0 配置环境时设置python为3.9.1

主要参考教程

​
主要参考文章和视频资源有：

Bilibili：
Windows 和 Ubuntu 双系统从安装到卸载 up主：机器人工匠阿杰
CSDN：
Ubuntu22.04 Python 深度学习环境配置记录 作者：Heine_
避免繁琐步骤，在Ubuntu22.04安装cuda、cudnn及pytorch 作者：Teliq
YouTube：
网易云课堂《深度学习与TensorFlow2入门实践》作者：味道

​

Ubuntu安装

Ubuntu安装可参考上面b站up视频，以下问题如遇到可以注意一下。

  1. 注意制作U盘启动盘时，视频中将刻进U盘用的是Win32DiskImager，这里建议用rufus（这一步有点久远忘了出什么问题了，好像是U盘安装时识别不了）
    若U盘有安全锁可以下载DiskGenius把U盘强制格式化（记得先备份好数据）
  2. 注意自己电脑的bios设置，本人用的联想拯救者R7000-2020,开机时按F2进入bios模式，安装时要设置secure root（具体操作太久了忘了，可以自行搜索教程）
  3. 注意分区设置，本人用第一方案分区（home和root同时存在）时由于安装NVIDIA和CUDA时默认路径下到urs,到后面内存不够（也有一部分原因是我乱装了）root整个满了。分区的时候如果可以的话尽量设置内存大一些，用设置home时三思一下
    下图是我整个安装完（因为要跑项目程序还额外配置了一个tensorflow1的环境，此外可能下了一些有用的包，不过这部分应该比较小）的磁盘使用情况：
    在这里插入图片描述5. 输入不了中文：打开设置-区域与语言- 管理已安装的语言
    新装系统它会让你更新下载（有点慢注意一下）下载完成后就可以使用默认中文输入法了，和windows一样按shift中英互换

Nvidia和CUDA安装

先讲结论：直接用避免繁琐步骤，在Ubuntu22.04安装cuda、cudnn及pytorch的方法，依次在终端输入两行代码：

ubuntu-drivers devices
sudo ubuntu-drivers autoinstall

然后就直接就能在附加驱动上下载NVIDIA和CUDA。下载完成后重启，输入

\\注意这里没有空格！！！
nvidia-smi

就能看到安装的NVIDIA版本等信息（图中CUDA为可以安装的最高版本）

此时用nvcc -V是识别不了命令的，它会让你下载nvcc的包，按照终端提示的命令下载完包就可以用nvcc -V看到我们安装的CUDA版本了
注意！和在CUDA官网安装的方法不同，这种方法的默认路径不是usr/local,而是装在了usr/lib/cuda里，之后装cuDNN以及使用tensorflow时需要注意并更改路径，否则运行不了

以下是我的CUDA的位置：

在这里插入图片描述

踩坑经历

如果是在官网下载安装的驱动，看别人的教程应该是也可以安装好NVIDIA和CUDA的，但是如果安装CUDA的时候遇到了以下问题：
在这里插入图片描述
还是建议重装ubuntu使用上述方法在附加驱动里下载NVIDIA和CUDA，这里应该是版本不匹配的问题，如果自行安装xorg-video-abi-24的话会导致版本降级，从而破坏更多的依赖关系，还是安装不了CUDA

官网安装所遇问题

如果没有出现xorg-video的报错在官网上安装NVIDIA也可以，直接按照教程：Ubuntu20.04安装nvidia显卡驱动——超详细第七步来就行（因为我们是双系统装的ubuntu系统没有带驱动，可以打开附加驱动此时也是显示没有驱动）
但仍会遇到以下问题请注意：

  1. sudo telinit 3关掉显示屏后续操作没有用
    不知道是不是版本问题关掉显示屏输入用户名和密码后无论输入什么命令都是：[sudo]◆◆◆◆◆◆◆
    用sudo telinit 5还是恢复不了显示屏，最后只能重启。我最后的解决方法好像是运行.run包的时候在后面加–no-opengl-files 还是 -no-x-check （当时是深夜折腾到比较晚忽然就装上了也不太记得具体是什么命令了）
    2.CUDA官网是没有Ubuntu22.04版本的，按之前提到的教程下载20.04好像就可以，只不过我安装的时候就遇到了xorg-video的报错。安装时注意自己NVIDIA驱动所能安装CUDA的最高版本（即nvidia-smi显示的版本）
    3.CUDA install时报错缺失liburcu6可以直接自行下载
    注意我找的时候只有amd64架构的没有x86_64的，但我下载amd64的包报错消失了，应该是能用
    安装代码如下1:
1/ wget http://archive.ubuntu.com/ubuntu/pool/main/libu/liburcu/liburcu6_0.11.1-2_amd64.deb
2/ sudo dpkg -i sudo dpkg -i liburcu6_0.11.1-2_amd64.deb

cuDNN安装

直接在cuDNN官网下载所需版本安装包并解压；下载前需要注册账号并填一个简单的问卷(乱填都行)
这一步一定注意你安装的CUDA的版本(终端使用命令nvcc -V) 下图为我安装的版本：

在这里插入图片描述
解压到当前文件夹就行，解压可以用归档管理器也可以使用如下命令：

tar -xvf 文件名

最后将cuDNN的头文件家到CUDA中就行了(注意下面命令，在解压完cuDNN的当前文件夹打开终端) 像上提到的，注意自己的cuda文件夹路径是usr/local还是usr/lib

sudo cp include/cudnn.h  /usr/lib/cuda/include
sudo cp include/cudnn_version.h  /usr/lib/cuda/include //加这一行是为了方便看cuDNN的版本号
sudo cp lib/libcudnn* /usr/llib/cuda/lib64
sudo cp include/cudnn.h  /usr/lib/cuda/include
sudo cp include/cudnn_version.h   /usr/lib/cuda/include
sudo chmod a+r /usr/lib/cuda/lib64/libcudnn*

最后输入 (依旧注意自己的路径是lib还是local)

cat /usr/lib/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

就能看到自己安装成功的cuDNN的版本号了

在这里插入图片描述

Anaconda安装

直接用Anaconda官网的命令安装（这里是x86_64的架构注意一下）：

bash Anaconda3-2021.11-Linux-x86_64.sh

一路yes和回车，注意自己的安装路径（会带自己的用户名，不知道路径可以文件右击属性看到）。最后还要source一下啥的，具体操作可以参考1
注：不知道为什么我的anaconda可以正常运行但是界面启动不了(无相应)，因为不影响使用暂时没解决

Pytorch安装与验证

创建Pytorch环境

Anaconda用一下命令在env文件夹中创建一个新的环境并激活（python版本可以参考本人上面所提版本配置）：

conda create -n 环境名陈 python=x.x.x \\python=x.x.x 可以指定python版本，不需要的话可以直接去掉
conda activate 环境名称

之后在终端每次使用这个环境下载包或者测试都要输入激活语句，输入后文件名会加上(环境名称)的前缀

下载及验证

进入Pytorch官网选择自己适合的版本（CUDA好像最高就是11.3,装的CUDA11系列可以用这个，下载时注意Python，CUDA的版本对应关系）：

在这里插入图片描述
依据官网，在所激活的Pytorch环境中输入以下安装语句：

conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

安装成功后我们就可以在pip list上看到torch版本：

在这里插入图片描述
最后我们验证一下gpu是否能用：

  1. 在激活的pytorch环境中输入python进入python模式（按ctrl+D或者输入exit()退出）
  2. 输入 import torch 后输入 torch.cuda.is_available()
    在这里插入图片描述
    返回True就表示安装成功，gpu可以使用啦

Tensorflow安装与验证

依旧先在Anaconda中创建一个新的环境并激活（考虑到Tensorflow官网写的3.9，python版本我设置的3.9.1）：

conda create -n tensorflow python=3.9.1
conda activate tensorflow

进入Tensorflow官网查看相关版本以及所需配置,注意python，cuda与tensorflow对应关系，可以参考我的配置
在激活的tensorflow环境里用conda install tensorflow_gpu==x.x.x 或者 pip install tensorflow_gpu=x.x.x 就可以下载了。下载完成后可以查看一下pip list：

在这里插入图片描述
最后的验证环节依旧是进入tensorflow下的python，加载tensorflow的包，输入：

1| import tensorflow as tf
2| tf.test.is_gpu_available()

返回True即安装成功

验证gpu时出现报错

如果上述过程出现了报错：

2022-05-04 19:18:21.807268: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:936] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero
2022-05-04 19:18:21.807638: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1850] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
False

不要慌，也不需要在这个环境中用conda install 重新下载cudnn相关的包（要几个G呢）。这可能就是上述提到的cuda路径的问题，系统把tensorflow中找cuda和cudnn的路径设为了usr/local，但是我们的cuda装在usr/lib中。修改这个路径即可。以下是操作步骤：

  1. tensorflow环境下输入
sudo gedit ~/.bashrc
  1. 找到用绿字标识的我们需要修改的path并把它修改成我们的CUDA路径

在这里插入图片描述
3. 保存，重启终端，激活tensorflow环境再次验证tf.test.is_gpu_available()，即可输出True

Pycharm安装与启动

本人用的snap下载的Pycharm(需要Ubuntu16.04及更高版本)，需要时间稍久，网速比较慢的同学可以换正常下载方式。

sudo snap install [pycharm-professional|pycharm-community] --classic

如果识别不了需要先用sudo apt install下载snap的包（记错勿喷）

最后终端输入pycharm-community启动pycharm就ok了
用pycharm运行时要在setting中加入conda的我们刚刚创建的pytorch和tensorflow的环境，具体可参考网易云课堂《深度学习与TensorFlow2入门实践》的示范

结语

感谢看到这里！希望这篇博客能对你有所帮助。由于是事后梳理有些步骤是凭借记忆写的，如有错误恳请指出，还请轻喷，谢谢。
最后叨叨几句：其实大创项目需要运行的代码是可以在Windows上运行的（导师记错了哈哈），因为在github上下载文件的时候一个checkpoint文件夹放在了Linux的安装命令里面导致缺少文件所以运行不了。不过俺也算阴差阳错地装了双系统，学习了Ubuntu以及Linux下的不少知识。虽然花费的时间很多，期间还重装了好几次，不过现在也总算入门了。学习新的东西总是有趣的，Ubuntu的便利优点不少（当然不便利的地方也很多），之后的学习过程应该也会整理成博客，希望大家都能学习顺利，少碰bug～

  1. https://blog.csdn.net/qq_41746268/article/details/124415682 ↩︎ ↩︎

淼~zZ
关注
  • 12
    点赞
  • 踩
  • 74
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。
qq_14977553的博客
07-21 2184
正在读取软件包列表… 完成 正在分析软件包的依赖关系树 正在读取状态信息… 完成 有一些软件包无法被安装。如果您用的是 unstable 发行版，这也许是 因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件 包尚未被创建或是它们已被从新到(Incoming)目录移出。 下列信息可能会对解决问题有所帮助： 下列软件包有未满足的依赖关系： vim : 依赖: vim-common (= 2:7.2.330-1ubuntu3.1) 但是 2:7.3.547-6ubuntu5 正要被安装 E: 无
TensorFlow“Skipping registering GPU devices…”解决方法
最新发布
L_zhanhong的博客
05-11 179
如果你已经安装了cuda和cudnn，文件中也有cudart64_101.dll，但是还是显示的找不到一系列“.dll”文件，那么重启电脑再运行一次就OK了。
ubuntu安装了AMD驱动
weixin_48250354的博客
10-29 3756
因为之前运行amdgpu-install文件老是报错，于是，自己按照这个文件中的声明手动安装了一下包，记录一下过程：（1代表最后安装了的，0代表没安装） 用hwe-support-status --verbose检查了一下是hwe版本，于是下面都安装的是带hwe的包。 根据amdgpu-install中的来安装： BASE_PACKAGE=amdgpu-core 1 META_PACKAGE=amdgpu 0 META_LIB_PACKAGE=amdgpu-lib 0 #一开始没有安装hwe版，于是安装
Ubuntu 22.04 安装 xserver-xorg-core-hwe-18.04 和 xserver-xorg-video-dummy-hwe-18.04
い天然呆的博客
01-03 1073
【代码】Ubuntu 22.04 安装 xserver-xorg-core-hwe-18.04 和 xserver-xorg-video-dummy-hwe-18.04。
关于在Ubuntu(图形化界面，内核版本5.15)下无法安装nvidia驱动的问题（Ubuntu 22.04/20.04）
qq_38445265的博客
08-26 1188
Ubuntu 22.04和20.04的iso镜像都会使用5.15这个内核，而在使用这个内核的情况下不管是从cuda安装包中安装驱动还是apt install都打不上驱动。2.重启电脑，在高级选项里选择Advanced option for Ubuntu，正常进入5.15内核系统（这时候不要选择最新内核的系统，会黑屏）3.安装nvidia driver 525这个版本的驱动（系统会自动安装关于6.2（最新）版本内核的组件）4.重启，参考步骤2手动选择进入最新内核的系统，安装成功。
linux升级内核后vnc显示没有桌面,Intel NUC(NUC6i3SYH)在不接显示器的情况下VNC不显示桌面(Ubuntu 18.04)...
weixin_39804523的博客
05-07 1260
Intel NUC(NUC6i3SYH)在不接显示器(Headless模式)的情况下,VNC不显示桌面(Ubuntu 18.04),如下图:造成这个现象的原因是，当使用Intel集成显卡的时候,如果没有显示器接入,那么显卡默认是没有输出的。解决方法为配置一块虚拟显卡，强制集成显卡输出到虚拟显卡，这部分功能在Linux系统下，一般通过xserver-xorg-video-dummy实现，如下：$ s...
Ubuntu22.04安装教程以及Ubuntu下C++环境配置
09-25
本教程旨在指导读者如何安装 Ubuntu 22.04 操作系统，并配置 C++ 编程环境。下面将详细介绍安装和配置过程中的每一步骤。 一、安装 VMware 在开始安装 Ubuntu 之前，需要安装 VMware 虚拟机。VMware 是一种流行的...
ubuntu22.04lts服务端安装桌面离线包
08-03
ubuntu22.04lts服务端安装桌面离线包
win下子系统Ubuntu22.04安装包（x64）
02-12
Windows的ubuntu22.04子系统的安装包，可以双击通过MS Store安装，也可以改变后缀名为zip，解压后手动运行Ubuntu.exe进行安装。 此方案适用于想装linux子系统但是由于连不上Microsoft Store的朋友。该文件也可以通过...
笔记本 ubuntu22.04 安装RTX3080TI nvidia显卡驱动
06-13
笔记本安装好 ubuntu22.04系统后，安装RTX3080TI nvidia显卡驱动过程描述，其中解决了驱动安装问题，以及驱动安装完成后不能进入图形界面的问题。
Ubuntu 22.04 安装教程 - Virtualbox 7 环境
07-07
在Windows 10/11系统上安装Ubuntu 22.04 LTS（Jammy Jellyfish）作为虚拟机，可以借助Oracle的VirtualBox软件，这是一个跨平台的免费虚拟化解决方案。以下是详细的步骤： 首先，确保你的计算机运行的是Windows 10或...
mstsc ubuntu xrdp配置笔记
jacke121的专栏
07-14 1961
mstsc ubuntu xrdp配置
Ubuntu22.04与深度学习配置（已搭建三台服务器）
godHhh的博客
08-12 6338
在Ubuntu22.04上搭建深度学习配置，已搭建三台服务器，亲测十分有效！！！
[超级详细系列]ubuntu22.04配置深度学习环境(显卡驱动+CUDA+cuDNN+Pytorch)--[2]安装Anaconda与CUDA
FRANPPER的博客
01-22 1470
[超级详细系列]ubuntu22.04配置深度学习环境(显卡驱动+CUDA+cuDNN+Pytorch)，一看就会，看完就懂！
VirtualBox Ubuntu无法安装增强功能以及无法复制粘贴踩坑记录
subtitle_的博客
08-01 7232
VirtualBox Unbuntu无法安装增强功能以及无法复制粘贴踩坑记录
软件包没有可安装候选
热门推荐
Mamba_1024的博客
12-19 1万+
前文 新人一枚，通过资料以及他人的经验进行学习。学习了以下博主的文章，链接是 https://blog.csdn.net/metheir/article/details/85040796 写下自己的学习记录，有不对之处请指出，有侵权处请联系本人删除。 一.问题 1.1 在安装交叉编译器的库时，提示无可安装候选 1.2 平时通过apt-get更新和安装软件时，特别慢 二.解决 2.1 安装 初学习...
【完整详细教程】Ubuntu22.04 双显卡 3090Ti*2 KVM虚拟机多显卡直通与Parsec高清远程
潜水的沙
09-05 3860
首先声明，本文的背景是在两张同型号的3090ti中选择一张进行直通，在整个直通过程中，上面的参考文献给与了我很大的帮助，本篇内容是我基于他们描述完整操作后的记录，其中不乏对原文的直接摘抄，但也结合了我机器的个人情况进行了重新梳理，并进行了多次可行性验证，因为每个人的机器情况可能都大不相同，希望我的记录能给和我相同配置的同学一些帮助。这是一个厂商特有的编号，10de是 Nvidia的编号（Vendor ID），Nvidia所有的设备都是使用这一编号，2203 表示这是一个3090Ti显卡。
2021-03-27
miaowuliuzifeng的博客
03-27 478
ubuntu下mathpix黑屏问题解决 场景： mathpix可能是一个很好用的数学公式识别工具，在ubuntu20.04安装mathpix时发现其启用截屏时会黑屏。 问题描述： 在使用ubuntu20.04启用mathpix的截屏功能会全局黑屏 原因分析： ubuntu20.04可以选择通过wayland进入桌面，而wayland的安全机制使得mathpix无法访问屏幕内容。 解决方案： 重启系统，在登录界面右下角齿轮选择模式的时候不使用wayland模式进入 ...
ubuntu22.04深度学习环境配置
08-26
对于在Ubuntu 22.04上配置深度学习环境，您可以按照以下步骤进行操作： 1. 更新系统和软件包： ``` sudo apt-get update sudo apt-get upgrade ``` 2. 安装NVIDIA显卡驱动（如果您的机器上有NVIDIA GPU）： ``` sudo apt-get install nvidia-driver-<version> ``` 3. 安装CUDA（如果您的GPU支持）： - 下载适用于Ubuntu 22.04的CUDA Toolkit installer（.deb文件）：https://developer.nvidia.com/cuda-downloads - 运行以下命令安装CUDA Toolkit： ``` sudo dpkg -i cuda-repo-*.deb sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub sudo apt-get update sudo apt-get install cuda ``` 4. 安装cuDNN（可选，如果您计划使用TensorFlow、PyTorch等深度学习框架）： - 下载适用于Ubuntu 22.04的cuDNN Library：https://developer.nvidia.com/rdp/cudnn-archive - 解压下载的文件，并将文件拷贝到CUDA安装目录： ``` tar -xzvf cudnn-*.tgz sudo cp -P cuda/include/cudnn*.h /usr/local/cuda/include sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn* ``` 5. 安装Python和相关工具： ``` sudo apt-get install python3-dev python3-pip ``` 6. 创建和激活一个虚拟环境（可选，但推荐）： ``` sudo apt-get install python3-venv python3 -m venv myenv source myenv/bin/activate ``` 7. 安装深度学习框架（如TensorFlow、PyTorch等）： - 使用pip安装TensorFlow： ``` pip install tensorflow ``` - 使用pip安装PyTorch： ``` pip install torch torchvision ``` 8. 安装其他必要的库和工具： ``` pip install numpy matplotlib jupyter ``` 这些步骤可以帮助您在Ubuntu 22.04上配置深度学习环境。根据您的需求，您还可以安装其他库和工具。记得根据您的硬件和软件要求进行适配和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值