一 利用自动学习(零代码)
实现流程
1. 创建华为云官方账号(https://www.huaweicloud.com/)
2. 创建对象存储服务OBS桶(“控制台”->“服务列表”->“存储”->“对象存储服务”)
3. 数据集上传
4. 创建项目
5. 自动学习训练生成模型
6. 模型部署
7. 对新图片检测
具体实现
1.创建账号
2.创建OBS(Object Storage Service)桶:–提供海量、安全、高可靠、低成本的数据存储能力(PS:OBS进行了改版,发出了OBS+,可以下载使用)
3.点击创建的桶,新建文件夹,用来存储训练数据和输出
4.服务授权:本实验项目需要使用数据管理功能,在开始使用前,需为数据管理模块获取访问OBS权限
由 控制台->服务列表->人工智能->ModelArts 进入 数据管理->数据集,点击服务授权,并同意授权。
5.进入 控制台->OBS->对象 进行数据上传(此处用到的数据集为已经标注好的数据集,标注格式为xml标注文件,放在同一文件夹上传即可)
6.再次进入ModelArts,点击自动学习下的物体检测
点击创建。
对于未标注的数据可以点击图片进行手动标注
7.训练
点击开始训练,选择默认参数即可
训练完成后,用户可以在界面中查看训练详情,如 “准确率”“召回率”“精确率”“F1值”等
8 部署模型进行预测
等待部署完成,点击上传图片,再点击预测,即可得到图片的预测结果。
具体细节见此
二 利用jupter的notebook进行模型训练预测
实现流程
1.准备实验环境与创建开发环境
2.下载数据与训练代码
3.准备数据
4.模型训练
5.模型测试
具体实现
进入modelarts的开发环境下的notebook
点击创建,创建一个notebook
在notebook中新建ipynb,选择合适的kernel
数据和代码的下载
在modelarts中,平台将代码和数据进行存储,可以通过下载解压的方式获取数据
from modelarts.session import Session
sess = Session()
if sess.region_name == 'cn-north-1':
bucket_path="modelarts-labs/notebook/DL_object_detection_yolo/yolov3.tar.gz"
elif sess.region_name == 'cn-north-4':
bucket_path="modelarts-labs-bj4/notebook/DL_object_detection_yolo/yolov3.tar.gz"
else:
print("请更换地区到北京一或北京四")
sess.download_data(bucket_path=bucket_path, path="./yolov3.tar.gz")
# 解压文件
!tar -xf ./yolov3.tar.gz
# 清理压缩包
!rm -r ./yolov3.tar.gz
解压后的文件:
也可以通过上传自己的模型和数据到notebook上来进行操作,之后的操作和在EDATA上的操作就是一样的了。
三 在平台上选择预置算法来进行模型训练预测
实现流程
1.准备环境与创建OBS桶
2.下载与上传数据
3.创建训练任务
4.导入训练模型
具体实现
创建OBS桶
“控制台”->“服务列表”->“存储”->“对象存储服务”->“创建桶”
在桶中选择对象并创建文件夹,进入modelArts进行授权服务
上传数据
在上传对象的位置添加文件。
进入ModelArts“训练管理->训练作业”
创建训练作业,选择预置算法和配置数据来源
提交训练作业,并进行模型训练
根据训练得到的模型进行模型部署来预测
详见.
使用AI Gallery的订阅算法训练模型
https://support.huaweicloud.com/bestpractice-modelarts/modelarts_10_0025.html