新手第一次在AutoDL上跑深度学习的实验,遇到一些问题,简单记录一下。如果大家发现问题,欢迎和我讨论。
!!!其实我后面发现恒源云这个平台也很好用,主要是实惠!!在我的博客里也有相关操作手册恒源云操作手册欢迎感兴趣的朋友可以看看
一、在autodl上租服务器
1.进入autodl官网
autodl注册并登陆,如果是在校学生,还可以通过学生邮箱进行注册可享受优惠。
2.租用新实例。
如果看文字步骤没弄清楚的朋友,可以看B站上的视频。
2.1选择主机
用户可以根据自己的需求进行选择主机,建议这里尽量选择空闲GPU多的主机,因为每个实例的GPU是共享的,当我们没有使用显卡(包括无卡模式和关机),我们的显卡都有可能被别人占用,当GPU不足时,就无法跑模型了。(虽然后面可以克隆实例到新的主机,但总归还是要麻烦一点)
2.2 配置镜像
选择好主机之后可以根据自己的需求来扩容,最后到镜像这部分。选择基础镜像,然后根据项目环境选择镜像。我的镜像配置如下图所示,选择好之后,点击立即创建。
在容器实例界面就会显示刚创建的实例,这里我之前申请了两个实例。
!!注意:平时我们没用主机的时候一定要点关机,还有上传数据的时候选择无卡开机模式,可以减少费用。具体操作是:先点关机–>更多–>无卡开机模式
3.初始化网盘(可以使用改区域的功用数据文件夹)
下面是我使用之后的显示界面
二、数据上传
!!注意:数据上传有三种方式。
(1)当只需要上传一个压缩包并且压缩包比较小的时候,或者其他类型的单个文件,就建议到刚刚我们申请的文件存储界面直接点上传按钮(我试过比较慢)。
(2)通过Xftp软件上传(具体步骤参考Xftp软件上传)。
(3)通过百度网盘或者阿里云盘上传。我是通过阿里云盘上传的数据,因为阿里云盘的配置比较简单,如果要使用百度网盘上传数据的朋友,可以参考百度网盘上传。
选择阿里云盘只需要通过APP扫描,就可以使用,没有认证操作。具体操作是:点击实例中快捷工具中的AutoPanel–>公网网盘(我这里是之前选择好了)–>在阿里云盘界面中的文件对应后面点击下载。
三、远程连接到本地(PyCharm 2023.1.3 专业版)
1.安装PyCharm专业版
!!注意:必须使用PyCharm专业版才能进行远程连接。
(1)PyCharm下载PyCharm
(2)PyCharm专业版安装教程安装教程(针对通过学生教育邮箱认证后)
(3)如果没有认证学生邮箱,可以参考该链接下的步骤专业版其他安装方法
2.PyCharm远程开发(基于MixVPR项目)
2.1 打开MixVPR项目
2.2 File–> Settings–>Project–>Python Interpreter–>Add Interpreter–>On SHH
2.3 接下来到Autodl实例界面复制登录指令(只有在开机模式或者无卡开机模式下才会显示)
将复制的指令分别填入下面的框内
点击Next,然后复制密码
点击Next
选择System Interpreter,在Sync folders中箭头左边表示的是文件本地的地址,右边表示的是远端服务器上的地址,这里为了方便管理我们修改一下地址。在autodl-tmp(数据盘)下新建一个文件夹。
修改之后的路径显示如下,然后点击create就创建了一个远程连接。
2.4 展示云服务器的文件目录。
具体操作步骤:Tools–>Deployment(部署)–>Browse Remote Host 就会出现右边的界面。
找到我们上传的项目,本文的路径是(root/autodl-tmp/MixVPR)
在项目中随便点击一个文件,文件名称会出现下面的变化
2.5 连接远程SHH
2.6 看代码,更新代码
四、配置环境
1.下载镜像
本文所需3个镜像
如果需要其他版本的镜像,可以点进这个链接torch系列的镜像列表
2.在PyCharm中进入终端,或者在通过JupyterLab进入终端
正确进入,就会显示下面的界面
3.编辑文件+刷新,这样才能使用conda,进行后续的环境配置
- 输入:
vim ~/.bashrc
- 开始进行编辑:输入
i
- 光标移动到文件的最后一行,插入
source /root/miniconda3/etc/profile.d/conda.sh
- 保存文件并退出:按
Esc
键,输入:wq
,再回车 - 输入
bash
重启终端(即刷新一下)
4.Torch环境安装
- 进入环境:
conda activate base
这一步需要参考图片 - 创建新环境:
conda create -n MixVPR python=3.8
- 进入新环境:
conda activate MixVPR
- 安装torch(这一步一定和自己最初创建实例的镜像环境对应)!!注意:这里我们刚刚下载的镜像是下载到/root/autodl-fs路径下
所以镜像的安装命令对应是:
pip install autodl-fs/torch-1.10.0+cu111-cp38-cp38-linux_x86_64.whl
- 安装torchvision
pip install autodl-fs/torchvision-0.11.0+cu111-cp38-cp38-linux_x86_64.whl
- 安装torchaudio
pip install autodl-fs/torchaudio-0.10.0+cu111-cp38-cp38-linux_x86_64.whl
到这里,基本环境已经配置完成了(为了省钱一直开的是无卡运行模式),为了验证环境配置成功可以在项目中进行如下操作:新建test01.py–>输入验证代码–>点击run。验证代码如下
import torchvision
import torch
print(torchvision.__version__)
print(torch.cuda.is_available())
新建的test01.01文件可以通过如下的方式上传到云服务器
运行test01.py,出现下面的界面表示环境配置成功,这里使用的是无卡运行模式,如果是正常的开机模式会显示True。
5.MixVPR环境配置
MixVPR需要用到以下库
pip install faiss-cpu==1.7.2
pip install faiss-gpu==1.7.2
pip install matplotlib==3.5.3
pip install numpy==1.23.4
pip install pandas==1.5.1
pip install Pillow==9.2.0
pip install prettytable==3.5.0
pip install lightning==1.8.3
!!注意:1.这里需要文件中写的库名是pytorch-lightning==1.8.3,但是在正确的命令是pip install lightning= =1.8.3(本人在这里卡了很久,不能正确安装)2.安装的命令一定要和torch安装的命令对应(要使用pip就一直使用pip,使用conda安装就一直使用conda安装),否则安装pytorch-lightning会将之前安装的torch卸载掉
6.运行MixVPR项目
本文的MixVPR项目路径是/root/autodl-tmp/MixVPR
6.1 首先激活刚刚创建的环境:conda activate MixVPR
6.2 进入MixVPR项目,运行main.py文件python main.py
至此MixVPR在云服务器上的部署就结束了。
本文主要参考了以下的文章:
- AutoDL教程AutoDL教程
- AutoDL上传数据AutoDL上传数据
- b站视频pycharm连接服务器autodl
由于本文的篇幅到这里已经较长了,所以在运行MixVPR项目过程中遇到的问题总结,请关注下篇文章!