DCIC 2024 数据要素赛道算力资源申请与使用指南

云资源开通  

企业认证通过后，由企业账号申请开通资源池服务

开通资源池服务  

控制台左侧菜单【云资源】--【ModelArts】--【开通服务】后，方可申请专属资源，等待申请通过后即可正常使用资源。

 OBS Browser+使用

对象存储服务OBS是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。AI 开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。

01   创建桶  

点击页面【云资源】--【Modelarts】--【对象存储控制台】进入对象存储服务

点击右上角【创建桶】

填写桶信息，然后【立即创建】

进入所创建的桶，上方可复制该桶的路径

02  下载OBS Browser+  

下载链接在对象存储服务首页最上方，可根据版本跳转链接下载安装

03  服务器地址获取

服务器地址：obs.cn-east-324.fjaicc.com

也可以通过以下方式查看服务器地址：

进入【对象存储控制台】--【对象存储】--【桶名称】

04   秘钥AK和SK获取

在对象存储服务首页最上方，点击获取访问秘钥（AK和SK）

跳转到我的凭证界面

点击【访问秘钥】--【新增访问秘钥】，填写完描述（描述可自定义填写）后确定

创建成功后，点击【立即下载】，得到credentials.csv文件

打开credentials.csv文件，获取秘钥AK、SK

05 OBS Browser+登录   

账号名自定

服务器地址为：obs.cn-east-324.fjaicc.com

Access Key和Secret Access Key为之前获得的AK+SK

访问路径：OBS桶的路径（步骤一复制桶的路径）

 开发环境NoteBook使用

01   ModleArts控制台  

在左侧导航栏【云资源】下拉框中选择【ModelArts】，点击【ModelArts控制台】

02  使用专属资源池创建NoteBook  

在左侧导航栏【开发环境】--【notebook】，并点击【创建】

自动停止：关闭。

镜像：根据任务选择合适的镜像。

资源类型：选择专属资源池。

资源池规格：选择可用卡数的专属资源池。

规格：根据任务选择合适的资源规格。

存储配置：云硬盘EVS默认磁盘规格5GB，请根据实际需求进行调整。

03  使用公共资源池NoteBook

在左侧导航栏【开发环境】--【notebook】，并点击【创建】

自动停止：使用公共资源池创建的NoteBook将实时计算耗费资源，建议按需设置自动停止时间。（平台自动计费不影响正常使用，参赛选手无需支付费用）

镜像：根据任务选择合适的镜像。

资源类型：选择公共资源池。

规格：根据任务选择合适的资源规格。

存储配置：云硬盘EVS默认磁盘规格5GB，请根据实际需求进行调整。

点击立即创建

将代码或数据集上传到NoteBook

01   打开一个NoteBook  

02  上传数据至NoteBook  

四种方式上传，根据实际情况选择

注意：OBS文件上传大小不能超过10GB

03数据量较大可通过OBS Browser+客户端上传

通过OBS Browser+客户端上传代码或数据集

通过MoXing接口将OBS中的代码或数据集下载到NoteBook

示例：

import moxing as mox

#从OBS下载文件夹LLaMa-ms中的所有文件到Notebook

mox.file.copy_parallel('obs://0827-lin/LLaMa-ms', '/home/ma-user/work/LLaMa-ms')

#从OBS下载文件obs_file.txt到Notebook

mox.file.copy('obs://bucket_name/obs_file.txt', '/home/ma-user/work/obs_file.txt')

注：其中“obs://bucket_name/obs_file.txt”为OBS上的存储路径，“/home/ma-user/work/obs_file.txt”为Notebook中的存储路径。如果要从NoteBook上传文件到OBS，两个路径互相调换即可。

 在NoteBook中进行模型训练

01   启动训练脚本  

02  查看训练日志及资源使用情况  

注：申请算力资源需先报名参加2024数字中国创新大赛·数据要素赛道赛题。