Linux服务器配置深度学习环境(Pytorch+Anaconda极简版)

前言:

        最近做横向需要使用实验室服务器跑模型,之前用师兄的账号登录服务器跑yolo,3张3090一轮14秒,我本地一张4080laptop要40秒,效率还是快很多,(这么算一张4080桌面版居然算力能比肩3090,老黄好刀法),不过一直用师兄的号也不好意思,所以开了自己单独的号记录下如何配置Linux深度学习的环境。

        本文使用的是Anaconda进行配置,因为使用 Anaconda 安装深度学习环境时,通常不需要单独安装 CUDA 和 cuDNN,当然前提是你通过 conda install 直接安装 PyTorch 的 CUDA 版本。


前置工具:

先下好下面两个工具Xshell和Xftp到自己电脑上,前者负责远程连接,输入指令,后者负责文件传输,以及提供可视化文件管理。链接如下(注意下载免费版本的):

XSHELL - The Industry's Most Powerful SSH Clienthttps://www.netsarang.com/en/xshell/

下载后打开,两者使用方式差不多,新建会话->输入主机ip->输入用户名密码

然后点击连接就能进入远控的界面。

XFTP同理连接后能够看到下面界面,左边为本机文件管理,右边为远程主机文件管理,左键单击或右键选择传输可实现两机文件交换,同时也可可视化操作linux的文件比如复制粘贴删除重命名而不用输指令。


一、Python版本检查

(虽然理论上感觉安装anaconda前不需要额外安装python,毕竟它本身其实就是为了完成python环境的隔离,但似乎后续conda install失败时使用pip install要是版本不对可能会发生问题?以及我确实找到了一些关于anaconda和python版本的对应关系图,姑且就安装对应的版本。)

python3或python查看本地python版本,显示为3.10.6,exit()退出


二、Anaconda下载和安装

这是找到的对应图,不过也是陈年老博客了,链接如下:

Index of /archivehttps://repo.anaconda.com/archive/

依次输入下面指令:

下载:换成自己对应的链接

wget https://repo.anaconda.com/archive/Anaconda3-2023.03-1-Linux-x86_64.sh

添加权限:

chmod +x Anaconda3-2023.03-1-Linux-x86_64.sh

运行:

./Anaconda3-2023.03-1-Linux-x86_64.sh

按enter:

输入yes:

使用默认地址就好,按enter:

使用初始化,输入yes:

等待后输入ls能够看见创建了一个anaconda3的文件夹,使用rm删除之前下载的sh脚本

重新加载环境

source ~/.bashrc

查看版本校验是否安装成功

conda --version

创建一个环境,这里命名为yolo,使用3.9版本的python(师兄建议不要使用3.10+版本)

激活对应环境:

source activate yolo

三、安装torch

点击下面链接,

https://pytorch.org/get-started/previous-versions/https://pytorch.org/get-started/previous-versions/

复制下面指令:

conda install pytorch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 pytorch-cuda=11.8 -c pytorch -c nvidia

然后等待一段时间都显示done后就配置好环境了。

(是的就这么几步,倒腾了一下午就弄好了,windows的环境配置我反而折腾了一个多星期)


四、验证

1.看所有安装的库:

conda list

(前面括号里面表示激活的环境,使用source activate切换)

很明显这边以及安装上cuda版本的torch

2.代码验证:

依次输入

python
import torch
print(torch.cuda.is_available())

结果为true即可。


最后:

         难得这部分配置环境顺顺利利没有出错,不过后面yolo在linux上的环境还是报了不少错,好在最后顺利解决,后续会出一篇使用yolo在windows和linux分别训练自己的模型的博客,可以点点关注!

### 配置深度学习环境Linux服务器 #### 安装必要的依赖库 为了确保深度学习框架能够正常运行,在安装任何特定的机器学习库之前,应该先更新系统的包管理器并安装一些基础工具和库。对于基于Debian/Ubuntu的发行来说: ```bash sudo apt-get update && sudo apt-get upgrade -y sudo apt-get install build-essential cmake git pkg-config libgtk-3-dev \ libavcodec-dev libavformat-dev libswscale-dev checkinstall \ libjpeg-dev libpng-dev libtiff-dev gfortran openexr libatlas-base-dev \ python3-dev python3-numpy libtbb2 libtbb-dev libdc1394-22-dev ``` 这些命令会安装编译代码所需的构建工具以及处理图像所需的各种开发文件[^1]。 #### 设置Python环境 建议创建独立的Python虚拟环境来进行项目隔离。这可以通过`virtualenv`或Anaconda实现。这里展示使用`venv`模块的方法: ```bash python3 -m venv dl-env source dl-env/bin/activate pip install --upgrade pip setuptools wheel ``` 激活此环境后,所有的Python包都将被安装在这个环境中而不是全局位置。 #### 安装CUDA与cuDNN (如果需要GPU支持) 当计划利用NVIDIA GPU加速时,则还需要下载并安装兼容本的CUDA Toolkit 和 cuDNN SDK 。可以从[NVIDIA官方网站](https://developer.nvidia.com/)获取最新本的信息,并按照官方文档中的说明完成设置。完成后记得验证安装是否成功: ```bash nvcc --version nvidia-smi ``` 上述两条指令分别用于确认CUDA Compiler (`nvcc`) 及驱动程序已正确加载到系统路径中。 #### 安装Deep Learning Frameworks 现在可以继续安装流行的深度学习框架之一,比如TensorFlow 或 PyTorch : ##### TensorFlow with GPU support: ```bash pip install tensorflow-gpu==<desired_version> ``` ##### PyTorch with CUDA support: ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` 请注意替换 `<desired_version>` 为你想要的具体本号,并根据实际使用的CUDA本调整PyTorch 的安装链接。 #### 测试安装 最后一步是编写单的测试脚本来验证一切工作正常。下面给出一段单的例子来检测是否有可用的GPU设备供TensorFlow 使用: ```python import tensorflow as tf print("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU'))) ``` 如果有正确配置的话,这段代码应当返回大于零的数量表示存在可访问的图形处理器单元。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值