ubuntu22.04 纯命令行远程深度学习环境搭建-从显卡驱动到jupyter

目录

一、ssh远程访问（可选）

二、显卡驱动安装

三、cuda安装

四、安装cudnn

五、安装miniconda

六、安装pytorch

七、安装jupyter notebook

参考文献

---

最近公司有16台服务器要重新部署ubuntu系统和环境，于是写下这篇文章，记录一下自己从安装显卡驱动到jupyter notebook 的过程，并讲述在安装过程中遇到的各种坑。

一、ssh远程访问（可选）

首先为了远程访问服务器，需要安装一个ssh，通过ssh IP 可以远程访问想要访问的服务器

# 更新系统和软件包
sudo apt update && sudo apt upgrade -y
#安装openssh服务器，用于远程访问
sudo apt install openssh-server
#启动ssh服务器
sudo systemctl start ssh
#设置为开机自启
sudo systemctl enable ssh
查看ssh状态
sudo systemctl status ssh

运行sudo systemctl status ssh后会有 activate(running)，即表示ssh安装成功并可正常启用。

按ctrl+c退出即可，接下来就都是远程访问了。

二、显卡驱动安装

这一部分我卡了很久，因为很多安装显卡驱动的教程都是去英伟达官网下载，但是这种下载方式过程繁琐，既要禁用系统默认的nouveau驱动，还要配置环境变量。但是目前ubuntu已经能够通过命令自动下载安装显卡驱动了，详情参考这篇文章：适用于Ubuntu的快速安装显卡驱动指南_ubuntu 驱动-CSDN博客

于是安装显卡驱动的全部命令如下：

# 示例是使用包管理器的方法安装和卸载驱动🚀

# 卸载原有显卡驱动，如果有
sudo apt purge nvidia-* -y

# 卸载后重启一次
sudo reboot

# 重新安装驱动
ubuntu-drivers devices
sudo ubuntu-drivers autoinstall
# 或者安装特定版本
# ubuntu-drivers devices
# sudo apt install nvidia-driver-545 -y

# 安装完后重启
sudo reboot

# 如果一切顺利，显卡驱动就安装成功了
nvidia-smi

至此，显卡驱动安装完成。

三、cuda安装

安装cuda之前要确认自己的显卡版本。运行nvidia-smi 查看显卡信息，选择的cuda版本小于命令显示的cuda版本即可，比如我电脑现实的版本是12.3，那我只要下载下载小于12.3版本的cuda即可。

首先安装必要的依赖

sudo apt-get install g++ 
sudo apt-get install gcc
sudo apt-get install make

我这里下载的是12.2版本的cuda

https://developer.nvidia.com/cuda-12-2-0-download-archive

一般按照Linux->x86_64->Ubuntu->22.04->runfile(local)选择即可，注意，最后一个Installer Type 一定要选择runfile(local)。因为只有这个能选择不重新按照驱动（后面会提到）

​

按照下面的两行命令执行即可，文件比较大，如果下载过程中出现断线，重新下载，命令用wget -c https://........  即可。

运行这两段命令需要时间较久，请耐心等待，运行过程中不要装驱动，按空格取消。

完成后如图所示：

• 打开环境变量文件

nano ~/.bashrc

• 插入以下内容，cuda-12.2 切换为自己cuda的版本号

export PATH=/usr/local/cuda-12.2/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64:$LD_LIBRARY_PATH

• 按 Ctrl + X，然后按 Y 确认保存更改，最后按 Enter 键退出。
• 更新环境变量，确保插入的路径正常打印

source ~/.bashrc
echo $PATH

• 测试cuda安装

nvcc -V

输出如下，版本对应上就成功了：

四、安装cudnn

下载cudnn库，官方下载链接： https://developer.nvidia.com/rdp/cudnn-archive
需要注册登录，选择linux x86_64 版本即可。

• 解压下载好的tar.xz文件

sudo chmod +x cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz
tar -xvf cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz

• 将解压的文件拷贝到cuda对应目录，进行cudnn的安装，路径中的版本更换为自己对应的cuda版本

sudo cp include/cudnn.h /usr/local/cuda-12.2/include
sudo cp lib/libcudnn* /usr/local/cuda-12.2/lib64
sudo chmod a+r /usr/local/cuda-12.2/include/cudnn.h /usr/local/cuda-12.2/lib64/libcudnn*

至此，GPU驱动、CUDA、cudnn就都安装好了。

五、安装miniconda

更新包以及安装开发环境

sudo apt upgrade
sudo apt install build-essential

进入官网，下载linux版本

Miniconda — Anaconda documentation

注意需要为文件添加可执行权限！！

sudo chmod +x Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

关闭自动开启base环境（可选）

conda config --set auto_activate_base false

配置环境变量

nano ~/.bashrc

在最后一行输入

export PATH=~/miniconda3/bin:$PATH

更新环境变量，输出路径

source ~/.bashrc
echo $PATH

初始化

conda init

验证安装成功，出现版本号即可

conda -V

六、安装pytorch

进入官网

PyTorch

选择对于版本，复制命令粘贴即可，等待完成

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

验证torch是否按照完成

# 验证torch安装
python -c "import torch; print('PyTorch version:', torch.__version__)"

#验证cuda安装
python -c "import torch; print('CUDA Available:', torch.cuda.is_available())"

七、安装jupyter notebook

安装jupyter notebook

conda install jupyter notebook

配置文件进行配置

创建密码

ipython

from jupyter_server.auth import passwd

passwd()

记住这个argon2秘钥，之后会用到。

执行退出

exit()

创建配置文件

jupyter notebook --generate-config

根据显示路径找 jupyter_notebook_config.py

打开文件 jupyter_notebook_config.py

vim ~/.jupyter/jupyter_notebook_config.py

vim 使用 按下英文大写 G 快速到最后一行，按i插入内容。

在配置文件中的关键配置

添加到文件最后即可 配置上面密码和自己端口号

c.ServerApp.allow_remote_access = True #允许远程连接
c.ServerApp.ip='*' # 设置所有ip皆可访问
c.ServerApp.password = '这里写上面生成的密码argon2.......' #之前复制的密码,或者输入的字符
c.ServerApp.open_browser = False # 禁止自动打开浏览器
c.ServerApp.port =8888 #任意指定一个端口

wq 保存退出

启动 jupyter

 jupyter notebook --allow-root

启动jupyter 后台运行

nohup  jupyter notebook --allow-root &

如果发现jupyter里没有本地创建的虚拟环境内核，请进入制定的虚拟环境安装新内核：

conda install ipykernel

将环境添加到 Jupyter Notebook 内核中：运行以下命令将 PyTorch 环境添加到 Jupyter Notebook 内核中：

python -m ipykernel install --user --name=myenvname --display-name "Python (myenvname)"

myenvname 是您的 PyTorch conda 环境的名称。

最后选择change Kernel就可以发现想要的内核了

参考文献：

【深度学习3】ubuntu22.04从零开始搭建深度学习环境-CSDN博客

适用于Ubuntu的快速安装显卡驱动指南_ubuntu 驱动-CSDN博客

https://developer.nvidia.com/cuda-12-2-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=runfile_local

Ubuntu22.04搭建Pytorch框架深度学习环境+安装Miniconda+安装CUDA与cuDNN_cuda 10.1 miniconda 安装pytorch ubuntu16-CSDN博客

在ubuntu 22.04 系统中搭建 anaconda环境 安装 jupyter notebook_ubuntu22 anaconda3-CSDN博客