由于GPU的价格高,使用现成的GPU云平台跑深度学习代码成为一项必不可少的技能。常见的GPU云平台五花八门,博主看了不少博客,选择了使用范围比较广的AutoDL平台(关键是学生认证能少交点钱钱,毕竟是穷学生,博主对学术研究并不感冒,是不可能去买个GPU电脑专门跑深度学习的)。该博客主要是介绍怎样使用VSCode和AutoDL平台跑深度学习,帮助跟博主一样的穷学生使用常用的VSCode编辑器跑深度学习
一、租个实例
1.注册,认证
打开AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL网站,注册,如果是学生,记得学生注册,成为炼丹会员。如果不会注册的建议把老年机扔掉好不好,不会认证的看这里,点击控制台,点击主页,选择认证学生升级炼丹会员
在正式炼丹之前,记得充点钱钱在里面,充多少看你的钱包。点击自己名称,选择充值会自动跳转到对应界面
2.配置实例
导航栏中点击算力市场,选择3090专区,一般来说实例被抢的很快的,哪一个地区有,就选择哪一个,3090能满足大部分训练任务了,别犹豫点击租用。如果恰好有多个地区,多个型号的卡可以用,想纠结纠结,可以参考AutoDL帮助文档慢慢选,其余的继续搞下面流程。
点击后会出现以下界面,选择基础镜像(框架名称/框架版本/python版本/cuda版本),点击创建并开机。 ,如果没有你需要的环境,请参考AutoDL帮助文档解决问题。
点击后会跳转到这个界面。默认为开机状态(状态为运行中表示开机状态是要收费的),点击操作关机。
关机后,点击更多,点击选择无卡模式开机(下面主要是配置一些东西,并不运行代码,用不到GPU,无卡模式虽然也是要收费的,但是价格会低很多)
二、VSCode连接主机
1.安装插件
打开VSCode侧边栏中的扩展,在扩展商店中输入Remote-SSH,安装Remote-SSH
2.连接主机
点击左下角,选择连接到主机。
选择添加新的SSH主机
会出现以下窗口
将登录指令复制下来,粘贴到VScode弹出的窗口中
直接enter键回车,不选择配置文件
在弹出的弹窗中点击,连接,会新打开一个VSCode标签页
在新打开的标签页中输入密码
等待连接,连接完成后,左下角为以SSH开头表示连接成功
三、上传数据
1.下载filezilla
点击客户端 - FileZilla中文网链接,根据自己电脑操作系统选择合适的版本,下载FileZilla,安装过程除了位置,其余保持默认即可(C盘充足的小伙伴可以闭眼点下一步)
2.连接主机
打开FileZilla,点击文件,选择站点管理器
弹出以下窗口,其中协议选择SFTP,其他信息根据登录指令进行填写
登录指令格式为ssh -p {端口号} {用户}@{主机名}
如登录指令为ssh -p 18435 root@connect.yza1.seetacloud.com,则端口号填写为18435,主机为connect.yza1.seetacloud.com,用户为root,密码为登录指令下面的密码
如果远端主机目录中含有文件夹,代表连接成功
3.上传文件
在本地目录找到本地数据集所在位置,在远端目录找到root/autodl-tmp文件夹,将本地数据集拖入到远端主机中,等待上传完成。(如果以压缩包上传,请不要略过最后一步)
点击root,右键创建目录,新建一个Code文件夹,用于存放代码
在本地目录中找到本地代码所在文件夹,在远端目录中打开Code文件夹,将解压后的工程项目拖入到远端主机上,等待传输。(如果以压缩包上传,请不要略过最后一步)
4.(可选)压缩包上传
由于有些小伙伴们可能以压缩包的形式上传数据和工程代码,这时就需要在远端主机上进行解压缩,当然如果以文件夹上传的小伙伴们,略过这个步骤继续搞下面步骤
(1)安装arc工具
回到AutoDl网站,打开JupyterLab
在跳转的界面中,点击其他/终端,新建终端
输入以下代码,安装arc解压缩工具
curl -L -o /usr/bin/arc http://autodl-public.ks3-cn-beijing.ksyun.com/tool/arc && chmod +x /usr/bin/arc
(2)解压数据文件
在终端中输入
arc decompress autodl-tmp/{数据文件压缩包名称}.zip
(3)解压项目工程文件
arc decompress Code/{工程代码名称}.zip
四、配置
1.打开工程目录
传输完成后,打开VScode,点击打开文件夹,在弹出来的上边栏中找到上传的Code文件夹下的工程目录,点击确定
有时候可能会重新输入密码
2.创建虚拟环境
随便一个文件,点击右上方运行按钮,会弹出以下终端窗口
在终端窗口中输入以下命令,创建一个my-env的虚拟环境
conda create -n my-env
更新以下环境变量
conda init bash && source /root/.bashrc
激活环境
conda activate my-env
3.安装依赖项
conda install {包名}
五、跑实验
1.切换模式
在AutoDL平台中,关闭实例,重新开机。以有卡模式开机
2.测试
打开VScode,等待连接,可能需要重新输入密码。激活虚拟环境
conda activate my-env
检查python解释器是否为虚拟环境中的,查看右下角是否有(my-env)
如果是(base),则代表python解释器为全局解释器,此时使用快捷键Ctrl+Shift+P,选择my-env环境中的python解释器