本示例使用AutoDL远程租用显卡 Xftp管理远程文件
1 AutoDL网站登录创建实例
AutoDL网站:AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL
1)进入算力市场,选取可用显卡(工作日一般白天抢不到,晚上才能抢到)
2)选择配置环境
3)创建成功实例
之后配置环境时建议先关机,再在“更多”中选择无卡模式启动(0.01yuan/h)
当然,如果你是富哥富姐那当我没说
复制并查看登陆指令与密码
格式应该如下(指令与密码都是编的 只用来展示格式):
举例:
指令 ssh -p 57221 root@ct.bjb1.seecloud.com
密码 1gqWM79HJksg
之后用到的所有 主机名(Host/H):ct.bjb1.seecloud.com
端口号57221
用户名(Username/U):root
密码(Passwords/P):1gqWM79HJksg
2 PyCharm连接实例
PyCharm下载网站:Download PyCharm: The Python IDE for data science and web development by JetBrains
必须使用专业版才能进行远程连接,社区版大咩!
1)File-Settings-Python Interpreter-Add Interpreter-On SSH
输入主机名,端口号,用户名
2)输入密码
3)建立连接
4)勾选Inherit,修改远程文件目录
一定要Apply!上面显示的就是当前环境有的库,如果没有勾选Inherit那么就只有3还是4个库,所以一定要勾选Inherit!!!(我当时在这里卡了两天)
3 上传文件与配置环境
对于配置环境 推荐使用无卡模式配置(0.01元/h)
3.1 使用Xftp平台来对远程文件进行管理
Xftp 下载 - NetSarang Website (xshell.com)
1)下载完毕后先左上角点击新增连接 再输入主机号 输入端口号 输入用户名 输入密码 点击连接
2)远程连接处的root目录下的文件,其中autodl-tmp为数据盘,也就是刚开始autodl上创建实例时可扩容的部分
3)对于训练的数据集(先在本地压缩) 直接从本地将.zip压缩文件粘贴到autodl-tmp(远程数据盘中)
4)先在root/autodl-tmp中新建文件夹SynthText
5)在pycharm中的terminal处,输入指令
unzip root/autodl-tmp/SynthText.zip -d root/autodl-tmp/SynthText
terminal处就会显示解压缩的过程,等待解压缩完毕,SynthText中就是解压后的文件了
3.2 环境配置
1)在PyCharm-Tools-Deployment中选择Upload to root,就是将所有代码上传到远程,请勿将带有数据集的文件上传,因为特别慢,上传数据集还得是Xftp,勾选Automatic Upload,修改代码后就可以自动上传
2)运行代码,能看到No module named 'xxxxx'
这便是我们要添加的库了
3)在Terminal终端处,输入我们的老朋友指令:pip install xxxxx
但要注意的是,有一些库并不和报错的库名字相同
例如缺skimage库,要pip install scikit-image,而不是pip install skimage
缺cv2库,要pip install opencv-python,而不是pip install cv2
4)至此,环境就配置完毕了
4 训练路径修改
在有关训练集地址和训练模型存放地址的代码中,我们要修改文件路径
例如我的项目yaml文件中 synthtext: ".//data/SynthText/"
需要修改成 synthtext: "root/autodl-tmp/SynthText"
本地中使用的是相对路径,当然远程也可以使用相对路径,我在远程的路径中使用的是绝对路径
以上就是使用Autodl与Xftp远程训练模型与远程文件管理的所有内容啦!欢迎大家指出文章中的错误!之后会更新克隆实例与跨实例文件传输等内容呢!一键三连!我们下期再见!