通常AI数据处理分为,数据采集,数据清洗,数据标注,模型训练,模型部署,推理等场景。本方案适用于AI训练场景,比如自动驾驶的模型训练(图片),自然语言处理的模型训练(语音)等各种AI模型训练的场景。在训练的场景中,计算部分通常使用GPU来进行,通常多台GPU服务器会协同来完成同一个任务,因此存储一般采用共享存储。
实现的方式
搭建AI图片训练基础环境。
使用CPFS存储训练数据。
使用飞天AI加速训练服务加速训练。
使用Arena一键提交作业。
部署架构图
这里提供一个Imagenet训练的示例。Imagenet 数据集是按照WordNet架构组织的大规模的带标签的图像数据集,大约1500万张图片,这些图片都是经过人工筛选和标记的。其中ISLVRC2012使用的是Imagenet的子集,大约128万张。我们接下来的例子以ISVRC2012为例。其中验证集约5万张图片。
目录
前置条件4
1.创建CPFS5
1.1.创建VPC5
1.2.创建CPFS实例7
2.下载imagenet训练集和demo训练脚本11
2.1.创建ECS实例11
2.2.挂载CPFS实例14
2.3.下载Imagenet训练集.15
2.4.转换数据格式..17
2.4.1.安装转换工具和脚本.17