远程深度学习服务器配（ cuda + cudnn + nvidia-cuda-toolkit + docker + vscode）

已于 2023-12-06 20:48:14 修改
阅读量1.8k 收藏 10
点赞数 2
文章标签： 深度学习 服务器 docker python 人工智能 vscode
于 2023-07-11 21:33:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aiyaya333/article/details/131641050
版权

目录

一、远程服务器端配置

宿主机配置为：显卡1070ti，系统ubuntu18.04，cuda11.0.3，cudnn8.0.5

1.宿主机基本环境配置

安装ubuntu18.04

安装ubuntu18.04，可以参照该博客的步骤安装。
安装完成后需要替换镜像源并更新

# 首先备份源列表
sudo cp /etc/apt/sources.list /etc/apt/sources.list_backup
# 打开sources.list文件
sudo gedit /etc/apt/sources.list

将文件中原有的删除，将清华源复制到文件中。其他源有需要可以查看博客

# 清华源
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse

点击保存并退出sources.list，然后更新apt-get

sudo apt-get update

配置宿主机ssh

apt-get install openssh-server  #安装openssh-server
service ssh start # 启动ssh服务
ps -e | grep ssh #查看ssh服务是否启动

vim /etc/ssh/sshd_config 
#做如下修改
Port 22
PermitRootLogin yes

service ssh restart # 重启ssh服务

安装nvidia显卡驱动

官网驱动下载地址：https://www.nvidia.cn/Download/index.aspx
根据自己的显卡型号选取，这边已1070ti为例：在这里插入图片描述
之后点击Search，然后Download
在这里插入图片描述
下载完成后可在download目录下找到文件

sudo chmod 777 NVIDIA-Linux-x86_64-535.54.03.run #修改文件权限
sudo ./NVIDIA-Linux-x86_64-535.54.03.run #进行安装

``在这里插入图片描述
安装可能会报nouveau相关的错误，需要禁用nouveau后再安装，可参考博客
禁用自带的nouveau nvidia驱动

# 图形化界面可以用gedit打开
sudo gedit /etc/modprobe.d/blacklist.conf 
# 也可以用命令行打开
sudo vi /etc/modprobe.d/blacklist.conf 
# 如果提示没有vi就安装一下： sudo apt install vi
#在文件末位添加如下两句话，然后保存退出
blacklist nouveau  
options nouveau modeset=0 
#然后更新并重启电脑
sudo update-initramfs -u
sudo reboot
#重启后查看是否禁用nouveau成功
lsmod | grep nouveau #没有结果输出，则表示屏蔽成功

禁用成功后继续安装驱动操作即可，若出现缺少cc、make等情况，自行安装下gcc和make即可。可参考如下命令：

sudo apt-get install gcc
sudo apt-get install make

安装完成后可通过输入nvidia-smi来验证是否安装成功。成功界面如下：
在这里插入图片描述

安装cuda11.0.3

安装cuda11.0.3，从官网下载文件，这边选择11.0.3版本。
在这里插入图片描述
根据自己的系统情况选择对应的版本
在这里插入图片描述
配置与本文相同的可以直接复制如下代码进行下载安装。

wget https://developer.download.nvidia.com/compute/cuda/11.0.3/local_installers/cuda_11.0.3_450.51.06_linux.run
sudo chmod 777 cuda_11.0.3_450.51.06_linux.run
sudo sh cuda_11.0.3_450.51.06_linux.run

这一步需要等待会，可能会反应比较慢。进入如下界面后将driver的选中取消，我们已经在前面安装过了。然后选择Install继续即可。
在这里插入图片描述
执行完成后，添加环境变量，参考博客

sudo gedit ~/.bashrc
# cuda path
export CUDA_HOME=/usr/local/cuda
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
export PATH=$PATH:/usr/local/cuda/bin

安装完成后输入nvcc -V查看是否安装成功。
在这里插入图片描述
到这里cuda也就安装成功了。

安装cudnn

下载cudnn文件，官网地址，根据cuda版本选择合适的cudnn文件。
在这里插入图片描述

tar -xzvf cudnn-11.0-linux-x64-v8.0.5.39.tgz #解压
#然后把cudnn文件复制到cuda目录下
sudo cp -d cuda/include/cudnn*.h /usr/local/cuda/include
sudo cp -d cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

#查看cudnn版本
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

在这里插入图片描述
版本确实为8.0.5，cudnn安装成功。

2.配置docker

安装docker

#直接安装
sudo apt install docker-ce
#相关命令
sudo docker images #查看镜像
sudo docker ps -a #查看容器

安装NVIDIA Container Toolkit

参考博客

#添加源
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

#更新路径并安装nvidia-container-toolkit
sudo apt update
sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker
docker start $(docker ps -aq) #启动所有容器
docker exec -it <容器名称或ID> /bin/bash #进入容器

安装镜像

镜像下载地址，选择如下镜像，复制后面链接进行下载。
在这里插入图片描述
安装完成后通过docker iamges进行查看，会发现镜像安装成功。
在这里插入图片描述
可以通过Dockerfile自己定制镜像，我也是初学，对着b站上抄了一份配置文件。视频地址，可以去看一下，三连支持。
里面根据自己需求可以增删一些模块。

FROM nvidia/cuda:11.0.3-cudnn8-devel-ubuntu18.04 

ADD sources.list /etc/apt/
ENV PATH /opt/conda/bin:$PATH
EXPOSE 8080

#Install basic dependencies
RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
    echo "Asia/Shanghai" > /etc/timezone
RUN apt-get update && apt-get install -y --no-install-recommends \
	bzip2 \ 
	g++ \
	git \
	graphviz \
	libgl1-mesa-glx \
	libhdf5-dev \
	openmpi-bin \
	vim \
	libopencv-dev \
	libsnappy-dev \
	python-dev \
	python-pip \
	build-essential \
	wget && \
      rm -rf /var/lib/apt/lists/*

# Install anconda for python 3.6
ADD Anaconda3-2023.03-1-Linux-x86_64.sh /home/anaconda.sh
RUN /bin/bash /home/anaconda.sh -b -p /opt/conda && \
    ln -s /opt/conda/etc/profile.d/conda.sh /etc/profile.d/conda.sh

#Set Locale
ENV LANG C.UTF-8 LC_ALL=C.UTF-8

#Initialize workspace
RUN mkdir /workspace
WORKDIR /workspace

CMD ["/bin/bash"]

根据视频内容，Dockerfile文件夹中有这三个文件，anaconda文件有需求的话自己下载一下，sources.list用与宿主机相同的文件即可（见本文开头的配置）
在这里插入图片描述

docker build -f Dockerfile -t nvidia/cuda:V1 . #V1这个是TAG,自己随意命名

安装完成后会获得一个新的镜像，定制镜像就成功了。

创建容器

#将容器的22端口和6000端口分别映射到宿主机的8001和8002端口，之后可以通过宿主机端口进行访问容器
#-v 实现容器卷挂载，将容器内/data目录挂载到宿主机/data/docker1目录下
sudo docker run --gpus all -it --privileged=true --name=docker1 -p  8001:22  -p  8002:6000  -v /data/docker1:/data  镜像名称或者编号 /bin/bash

配置容器内ssh

apt-get install openssh-server  #安装openssh-server
service ssh start # 启动ssh服务
ps -e | grep ssh #查看ssh服务是否启动

vim /etc/ssh/sshd_config 
#做如下修改
Port 8001
Port 8002
PermitRootLogin yes

service ssh restart # 重启ssh服务
passwd   #修改密码

完成后，即可在宿主机上通过端口对其进行访问，如

sudo ssh root@172.17.0.3 -p 8001

二、内网穿透

内网穿透选择使用zerotier实现

1.创建zeirtier账号

创建完成后创建一个网络，记住NETWORK ID即可，后面通过这个链接。
在这里插入图片描述

2.在宿主机上安装zerotier

#直接安装即可
curl -s https://install.zerotier.com | sudo bash
zerotier-cli join NETWORK_ID #输入自己网络的ID
sudo systemctl restart zerotier-one

3.在本地机上安装zerotier

官网直接下载即可，直接安装，安装完成后同样输入自己的Network ID

在这里插入图片描述
之后到zerotier网站上，自己的那个网络里，把刚加入的两个网络的前面的勾打上，将两端机器组网成功。
在这里插入图片描述
之后在本地端可以直接连接到服务器，不同网络下都可以。

三、本地机端配置

1.安装并配置VSCode

可以查看文档https://www.autodl.com/docs/vscode/，pycharm的链接方式也有，很详细。

2.安装Xshell7和Xftp7

可以使用Xshell7和Xftp7配合vscode，官网免费下载地址，下载完正常安装就行。
打开Xshell7新建一个连接，如下，输入zerotier上服务器的ip和端口号。（要连接容器就把端口号设置为容器的端口，如上文的8001、8002）

在这里插入图片描述
这个绿色的小按钮是Xftp的功能，打开既是Xftp。用于两端文件传输。
在这里插入图片描述

归零归零~
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
VSCode 配置CUDA编程环境
To Be Continue
10-24 2万+
VSCode 配置CUDA编程环境 launch.json { // Use IntelliSense to learn about possible attributes. // Hover to view descriptions of existing attributes. // For more information, visit: https://go.mic...
NVIDIA Container Toolkit:利用NVIDIA GPU构建和运行Docker容器-开源
05-09
NVIDIA Container Toolkit允许用户构建和运行GPU加速的Docker容器。 该工具包包括容器运行时库和实用程序，用于自动配置容器以利用NVIDIA GPU。 确保已为Linux发行版安装了NVIDIA驱动程序和Docker引擎。请注意，您无需在主机系统上安装CUDA Toolkit，但需要安装NVIDIA驱动程序。 NVIDIA Container Toolkit支持生态系统中的不同容器引擎-Docker，LXC，Podman等。请按照《用户指南》使用这些引擎运行GPU容器。 NVIDIA Container Toolkit的体系结构允许生态系统中的不同容器引擎-轻松支持Docker，LXC，Podman。 NVIDIA Container Toolkit提供了用于枚举GPU的不同选项以及CUDA容器支持的功能。
给本地的pycharm配置远程linux服务器连接，并配置anaconda环境/安装用户级别的cuda和cudnn/安装pytorch/安装pytorch_lightning/配置清华源加速
weixin_48383130的博客
11-16 535
第一次配远程服务器的环境，不算很顺利，想记录一下整个过程，梳理复盘一下整个过程。
【实践】远程GPU服务器配置
rexxa的博客
03-15 1683
配置远程GPU服务器（总结）
dockers、nvidia-dicker、nvidia-container-toolkit踩坑记
最新发布
m0_74310646的博客
04-11 970
关于深度学习项目的docker部署踩坑记录，主要用来告诉大家一件事情，安装nvidia-container-toolkit而不是nvidia-docker，不要浪费时间在找没用的帖子身上，食用方式，一只手握住鼠标，一只手握住一杯卡布奇诺，嘶。。。
服务：灵活，高性能的机器学习模型载体（『飞桨』服务化部署框架）
02-01
（| English） 动机 我们考虑将在线部署深度学习推理服务作为将来面向用户的应用程序。 该项目的目标：使用训练了深度神经网络后，您还可以轻松地在线部署模型。 桨式服务的演示如下： 安装 我们强烈建议您在Docker中运行Paddle Serving ，请访问。 有关更多Docker映像，请参阅。 # Run CPU Docker docker pull hub.baidubce.com/paddlepaddle/serving:latest docker run -p 9292:9292 --name test -dit hub.baidubce.com/paddlepaddle/serving:latest docker exec -it test bash # Run GPU Docker nvidia-docker pull hub.baidubce.com/paddlepaddle/serving:latest-cuda9.0-cudnn7 nvidia-docker run -p 9292:9292 --name test -dit hub.baidubce.com/
nvidia-docker:利用NVIDIA GPU构建和运行Docker容器
05-10
NVIDIA容器工具包 介绍 NVIDIA Container Toolkit允许用户构建和运行GPU加速的Docker容器。 该工具包包括容器运行时和实用程序，用于自动配置容器以利用NVIDIA GPU。 产品文档包括体系结构概述，平台支持，安装和使用指南，可在找到。 上提供了常见问题解答。 入门 确保已为Linux发行版安装了和Docker引擎。请注意，您无需在主机系统上安装CUDA Toolkit，但需要安装NVIDIA驱动程序 有关NVIDIA Container Toolkit入门的说明，请参阅。 用法 提供了有关在Docker上运行GPU容器时可用的配置和命令行选项的信息。 问题与贡献 请让我们知道 您可以通过打开来做出贡献
ue4-runtime：用于通过NVIDIA Docker运行打包的虚幻引擎项目的容器映像
02-06
用于运行打包的UE4项目的容器映像 映像的各种标签为通过进行具有完整GPU加速的打包的虚幻引擎项目提供了最小的预配置环境。 （有关NVIDIA Container Toolkit的更多详细信息，请参见Unreal Containers社区中心上的。）请注意，这些映像将与任何来源的打包Linux版本一起使用，而不仅仅是使用打包容器版本打包的项目。 提供了OpenGL + Vulkan和OpenGL + Vulkan + CUDA变体。 每个图像变体在捆绑了的配置中也可用，用于使用主机系统的显示器显示OpenGL应用程序的输出。 有关用法的详细信息，请参见“”部分。 有关使用这些图像通过NVI
vscode-cuda:VSCode的CUDA C ++语法支持和摘要
04-01
VSCode的CUDA（语法+片段） 此扩展旨在为VS Code中的CUDA（C ++）提供语法支持和摘要。 此扩展不提供“类似IntelliSense”的功能，因为实现它的任务确实很大。 当您需要快速编辑内核或__device__函数并希望变量和函数可读时，请使用此扩展名。 特征 代码着色 该扩展支持大多数基本的CUDA关键字和功能，例如但不限于： cudaMalloc，cudaFree，... __global __，__ device __，__ host __，... atomicAdd，atomicSub，surfCubemapLayeredread，... __shfl_down，__ syncthreads ... 为了最大程度地与现有的流行主题兼容，始终不遵守（支持范围内的外部库，如CUDA）。 如果您的主题仍然没有为CUDA代码着色，则可以使用以下模板规则进
服务器上安装CUDA
yuntaaa的博客
09-06 972
仅用作记录，安装过程有点尴尬，最后也解决了
GPU服务器安装显卡驱动、CUDA和cuDNN
嘻哈记的运维学习之路
02-11 3319
gpu服务器中容器调用显卡运算
GPU服务器中安装CUDA
学如逆水行舟，不进则退
10-19 2717
如何在GPU服务器中使用GPU运行机器学习模型？
本地打开autodl的stable-diffusion-webui,自动SSH连接
10-20
解压 在autodl的jupyter里启动 双击laucher.py启动
百度AutoDL「自动深度学习: 理论、算法、平台和应用」【附132页ppt】.zip
02-05
百度研究院大数据实验室窦德景博士等人给了关于自动深度学习的教程包括AutoDL的理论、算法、平台和应用，共132PPT，涵盖神经架构搜索、迁移学习和元学习，以及深度学习模型压缩。该教程将包括对最先进的算法和系统的全面调研。是了解工业界学术界的最好自动深度资料。
automated-building-detection:使用深度学习自动检测建筑物
05-30
自动建筑检测 使用深度学习的自动建筑物检测：NLRC/510 工具 范围：快速绘制大面积地图以支持灾难响应行动 输入：超高分辨率（<= 0.5 m/pixel）RGB 卫星图像。 目前支持： 任何光栅格式的自定义图像 输出：矢量格式的建筑物（geojson），用于数字地图产品 学分 建立在和。 开发： , , 联系人： 。 结构 abd_utils实用程序函数来下载/处理卫星图像 abd_model框架在图像上训练和运行构建检测模型 运行其余部分所需的input输入/配置文件 要求： 下载卫星图像： 要运行建筑物检测模型： VRAM> = 8 GB的GPU NVIDIA GPU 驱动程序和NVIDIA CUDA 工具包 如果使用 Docker NVIDIA Container Toolkit ，将 GPU 暴露给 docker 容器 入门 使用Docker 安装
服务器cuda安装以及环境配置
weixin_44945850的博客
05-15 346
参考以及。
【一文搞定Linux服务器深度学习环境搭建】Anaconda+pytorch1.13.1+CUDA11.7+cuDNN8.9
weixin_43607192的博客
05-24 2653
一文迅速搞定Linux服务器深度学习环境配置，图文详细教程
TensorFlow-GPU和Keras-GPU安装，显卡、cuda、cudnn版本匹配问题（vs code远程连接服务器）
qq_44853023的博客
06-12 4923
首先捋清楚流程，TensorFlow-GPU和Keras-GPU安装需要和显卡、cuda、cudnn的版本一一对应，如果一开始就用pip命令下载非常容易出错。参考1、查看显卡：终端输入nvidia-smi -q | grep Product2、确定NVIDIA显卡的计算能力：去NIVIDA官网查看3、终端输入nvidia-smi，查看服务器支持的cuda版本支持的最高cuda版本为12.04、进入cuda官网，选择比支持的最高cuda版本低一点的版本，避免不兼容的问题。
【pytorch】远程服务器搭建深度学习环境miniconda3+cuda11.1+cudnn+pytorch
zoetu
06-17 4087
远程服务器搭建深度学习环境miniconda3+cuda11.1+cudnn+pytorch
LINUX服务器安装cuda
09-14
安装CUDA（Compute Unified Device Architecture）在Linux服务器上可以为您的计算机提供GPU图形处理单元）加速功能。以下是安装CUDA的一般步骤： 1. 检查您的GPU型号和Linux发行版：首先，您需要确定您的GPU型号以及您正在使用的Linux发行版。您可以使用命令`lspci | grep -i nvidia`来检查GPU型号，并使用`lsb_release -a`来确定Linux发行版。 2. 下载适用于Linux的CUDA安装包：访问NVIDIA官方网站（https://developer.nvidia.com/cuda-downloads）并下载适用于您的GPU和Linux发行版的CUDA安装包。选择正确的版本对于成功安装非常重要。 3. 禁用Nouveau驱动程序：Nouveau是一个开源的、与NVIDIA驱动程序冲突的内核模块。在安装CUDA之前，请确保禁用Nouveau驱动程序。您可以通过编辑`/etc/modprobe.d/blacklist.conf`文件并添加以下行来禁用它： ``` blacklist nouveau options nouveau modeset=0 ``` 保存文件后，执行以下命令以使更改生效： ``` sudo update-initramfs -u ``` 4. 关闭图形界面：在安装期间，通常需要关闭图形界面。您可以通过执行以下命令来实现： ``` sudo systemctl isolate multi-user.target ``` 5. 安装CUDA：通过运行下载的CUDA安装包来开始安装过程。根据安装向导的指示进行操作，选择适当的选项。通常，您需要接受许可协议、选择安装位置并选择要安装的组件。 6. 配置环境变量：完成安装后，您需要配置一些环境变量，以便系统可以正确找到CUDA库和工具。您可以将以下行添加到`~/.bashrc`文件中： ``` export PATH=/usr/local/cuda/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH ``` 保存文件后，执行以下命令使更改生效： ``` source ~/.bashrc ``` 7. 验证安装：最后，您可以使用`nvcc --version`命令验证CUDA是否成功安装。如果显示了CUDA版本信息，则表示安装成功。 请注意，这只是一个一般步骤指南，实际安装过程可能因您的系统配置和CUDA版本而有所不同。确保在开始安装前阅读和理解官方的CUDA安装文档，并根据您的具体要求进行操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值