随着我们学习的网络结构不断复杂,层数的不断增加,计算量也不断攀升。我们需要租用网上提供的 IaaS 云计算平台进行神经网络的训练。矩池云就是我们现在常用的一 个。本次我将尝试使用矩池云平台在远端租借的矩池云主机上运行 MNIST 手写数字识别代码。
1.注册成为矩池云用户
前往矩池云官网注册账户,官网链接:https://www.matpool.com/
2.数据处理
矩池云为每位用户提供 5G 的存储空间,可将自己的数据等资料上传到个人中心 – 我的网盘(右上角用户名 —— 个人中心 —— 我的网盘),以便在租用的主机中使用。网盘中数据不会随着机器租用或释放而清空,同时矩池云保证数据的私密性和安全性,可放心使用。
在”我的网盘页面“点击上传
按钮,然后选择自己本地要上传的文件,比如我们现在要上传LeNet.rar文件。
3.租用主机
(1)可在矩池云的主机市场使用筛选、排序等功能快速找到合适的主机。为节约算力资源,建议优先选用低配型号的主机做好代码调试,如算力不足,再考虑升级。
本次示例中使用的MNIST是一个入门级案例,训练量不是很大,机器配置上,我选择的 NVIDIA A16。
(2)配置主机信息
点击对应机器的租用按钮后,右侧会弹出机器下单框,可以对机器进行配置:
- 仅在主机运行时产生费用,其余状态皆不计费。详细计费及扣款说明
- 基础镜像筛选:本次选择的主机预装了python3.7,pytorch1.8.1,CUDA11.1。
- 选择好镜像后,我们可以进行其它配置,如:VNC功能开启、公钥设置、高级选项中的自定义端口等,这些配置在主机启用后,将无法再次修改,所以在开启租用前必须要设置好。
- 设置使用GPU数,最小租赁单元为一张 GPU 。如果选择多张GPU,内存、硬盘、CPU 都会根据选择 GPU 的数量,按倍数提供。
- 选择好后,点击“下单”即可。
4.启用主机
主机启动过程中不会产生费用,主机的启动过程有可能会超过 1 分钟,启动完成后页面会自动刷新,因为主机在启动中可能需要拉取镜像,启动用时受镜像大小和网络情况影响。
主机启动成功后进入运行中状态,并开始计费。运行状态下,可在 租用界面->常用信息 中复制当前主机的 VNC、SSH 或者 JupyterLab 地址访问租用的主机。
本次我直接使用JupyterLab进行操作,复制租用界面中的JupyterLab链接到网页中。
首先点击Terminal进入终端,
在”我的网盘“页面中上传、新建、修改的文件,会直接反映到租用主机的 /mnt
目录下,反过来,如果您在主机的 /mnt
中进行了操作(比如将运行任务的结果文件输出到该目录),也会直接反映到”我的网盘“对应的目录中。
输入下面指令进入矩池云网盘挂载目录
cd /mnt
再输入下面指令解压之前上传的代码数据压缩包
# RAR压缩包
apt-get update #更新系统
apt-get install rar unrar #安装unrar
unrar x LeNrt.rar #全路径解压
如果是其他类型的压缩包,查看矩池云如何上传文件夹
此处我解压后得到LeNet.ipynb文件
之后进入/mnt文件夹后即可运行代码
可在主页监视运行过程中CPU,GPU,内存。硬盘等的占用程度。
本博客参考:
https://www.matpool.com/supports/doc-quick-start/
https://blog.csdn.net/weixin_48344945/article/details/111611192