华为ModelArts详细教程

已于 2022-07-29 00:05:04 修改
阅读量2.2k 收藏 6
点赞数 1
分类专栏： 编程工具 文章标签： ModelArts
于 2022-07-13 08:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37605642/article/details/125691751
版权

一、参考资料

ModelArts文档

AI开发平台ModelArts

AI平民化之路 - 华为云ModelArts和AI Gallery体验指南

AI开发平台ModelArts使用指南.pdf

ModelArts快速入门

【ModelArts】鹏城云脑实验平台（华为云ModelArts）使用教程

二、重要说明

  1. 本地IDE操作流程：

    本地IDE操作流程

    配置本地IDE（SSH工具连接）

    在本地IDE中上传数据至Notebook

  2. 创建桶的区域需要与ModelArts所在的区域一致。例如：当前ModelArts在 华北-北京一区域，在对象存储服务创建桶时，请选择华北-北京一。如何查看OBS桶与ModelArts的所处区域，请参见查看OBS桶与ModelArts是否在同一区域。

  3. 请勿开启桶加密，ModelArts不支持加密的OBS桶，会导致ModelArts读取OBS中的数据失败。

  4. ModelArts相当于容器，删除训练作业、notebook，对应的容器也被删除，导致容器中的数据丢失。obs支持数据持久化。

  5. 在ModelArts中执行脚本时，先在初始化过程中将脚本、数据集等相关文件从obs桶上传到容器，训练作业执行过程都是从容器中读取文件信息，作业执行产生的文件最终也要从容器存到obs桶。

  6. notebook停止后，/home/ma-user/work 目录下的数据会保存，其余目录下的内容会被清理。

三、相关介绍

在这里插入图片描述

3.1 OBS对象存储服务

对象存储服务（Object Storage Service，简称OBS）是一个 基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。对象存储服务OBS的基本组成是桶和对象。桶是OBS中存储对象的容器，每个桶都有自己的存储类别、访问权限、所属区域等属性，用户在互联网上通过桶的访问域名来定位桶。对象是OBS中数据存储的基本单位。

对ModelArts来说，OBS服务是一个数据存储中心，因为ModelArts本身目前没有数据存储的功能。AI 开发过程中的输入数据、输出数据、中间缓存数据都可以在OBS桶中进行存储、读取。 因此，在使用ModelArts之前您需要创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。

ModelArts使用对象存储服务（Object Storage Service，简称OBS）进行数据存储以 及模型的备份和快照，实现安全、高可靠和低成本的存储需求。因此，建议在使用 ModelArts之前先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。

3.2 ModelArts

ModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期AI工作流。

3.3 AI Gallery

AI Gallery是基于ModelArts发布的 AI应用市场，该功能极大降低了AI模型的开发门槛，基于AI Gallery的AI模型市场，即使用户不了解AI知识，通过订阅模型服务，也可以直接使用该模型。我觉得随着技术的进步和社会的发展，AI肯定是要趋于平民化的，而AI Gallery此项功能正是该方向的极大开拓者。

四、准备工作

  1. 下载数据集
  2. 安装 OBSBrowser客户端；
  3. OBS对象存储相关操作，参见下文；

五、OBS对象存储

打开对象存储控制台
	---》创建桶

在这里插入图片描述

创建桶

区域：默认即可
桶名称：自定义（全局唯一性）
企业项目：default
其他：默认即可

在这里插入图片描述

六、自动学习

自动学习用户指南

6.1 数据集准备

OBS桶创建文件夹

在OBS桶创建文件夹，用于存储数据集。

├── yunbao  
│   ├── output  # 数据集输出位置
│   ├── dataset  # 数据集输入位置
│   │   ├── train  # 训练集
│   │   └── eval  # 测试集

上传数据集

上传 yunbao数据集 到 obs://liulingjun-demo/yunbao/dataset 路径。用OBSBrowser客户端或者网页端上传，推荐用OBSBrowser客户端上传。
在这里插入图片描述

6.2 关键步骤

创建项目

打开ModelArts控制台
	---》自动学习
		---》物体检测，创建项目

在这里插入图片描述

创建物体检测项目

名称：自定义
数据集名称：自定义
数据集输入位置：obs://liulingjun-demo/yunbao/dataset
数据集输出位置：obs://liulingjun-demo/yunbao/output

在这里插入图片描述

开始训练

在这里插入图片描述

训练完成

在这里插入图片描述

部署上线

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

推理预测

在这里插入图片描述

华为AI自动学习ModelArts平台使用项目实践演示，从入门到精通详细教程
pvmsmfchcs的博客
01-19 1603
初学者按照教程将会学习到ModelArts的两种使用方法，1，在线环境下编译自己的python深度学习代码；2，学会利用华为现有的项目模板，进行自己深度学习的应用，但是这种方法会受限于目前现有的项目，具体使用请看项目实战教程
华为云modelarts平台SDK的调用
qq_44181970的博客
02-01 727
系列文章目录 第一章 华为云modelarts平台使用 第二章 华为云modelarts平台SDK的调用 第三章 ros+modelarts实现多车辆协作 文章目录系列文章目录一、模型部署二、我的程序（仅供参考）总结 一、模型部署 当模型部署完成后可以调用SDK将采集的图片传到华为云上，经过识别后，华为云会将识别后的结果发送到设备上。 我这里用到的设备是jetson nano（jetbot小车）和jetson tx2，本来可以直接用其配好环境直接做目标检测，但是比赛题目要求用到华为云model
华为云ModelArts的使用教程（超详细）
热门推荐
m0_62975468的博客
05-09 1万+
1: 注册华为云账号 华为云官网：共建智能世界云底座-华为云 (huaweicloud.com) 点击右上角进行注册 填写相关信息注册成功后，打开ModelArts控制台 点击添加快捷入口，找到人工智能选项的ModelArts，点击添加收藏，ModelArts将在左栏显示，方便日后使用。 点击ModelArts即可进入相关页面。 2: 申请访问密钥（可用于OBS Browser+登录） 首先点击右上角我的凭证，接着点击访问密钥并点击新增访问密钥，填写描述后点击确定。创建成功后立即.
华为云ModelArts的简单使用
lo_olo_ol的博客
01-24 4343
华为云ModelArts使用 1. 简介 ModelArts 是面向开发者的一站式 AI 平台，为机器学习与深度学习提供海量数据预处理及交互式智能标注、大规模分布式训练、自动化模型生成，及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期 AI 工作流。 网址: https://www.huaweicloud.com/product/modelarts.html 下面教程将教你使用使用ModelArts完成一个数据处理的demo 2.数据处理 数据处理的目的是让开发者在模型训练之前拿到质量更
【modelarts】华为人工智能平台_modelarts平台系列教程2_自动学习_物品检测(2)
接华为网络、网安方向小组作业，期末作业，课程设计、毕设等，有意可私信留言。
12-30 1733
文章目录前言一 数据准备二 创建项目三 数据标注和训练模型四 部署上线总结 前言 华为modelarts训练，能够面向三类用户提供解决AI开发支持。对于无AI基础的业务开发员，可以使用自动学习模型。全程无需写代码，一键启动训练&部署。对于AI初学者，使用预置的算法，少量的代码即可调用。对于AI深度完结，可以使用modlearts内置的notebook,自研的MoXingSDK,简化代码。 ModelArts自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。自动学习功能
梅科尔工作室-华为云ModelArts的简单使用（附详细图解）
qq_59744114的博客
05-07 2788
目录 1：注册华为云账号 2：申请访问密钥 3：创建obs桶 （1）下载OBS-browser （2）在官网创建，找到控制台选项的OBS 4：授权ModelArts 5：导入数据集 （1）直接通过AI Gallery下载 （2）利用自己已有的数据集 6：自主学习 7：调用在线服务预测 1：注册华为云账号 华为云官网：共建智能世界云底座-华为云 ​ 点击右上角注册 ​ 填写相关信息后注册成功，有的时候举办比赛会赠送代金券，不用忘记领取，很多地方要用。 需要注意的一.
快速使用华为ModelArts
wsl3465205046的博客
07-29 884
华为ModelArts 是一个一站式的AI开发平台，它提供了从数据准备到模型训练、部署等一系列的功能。
华为云ModelArts简单使用教程
qq_27304815的博客
07-01 1万+
最近跑模型自己电脑算力不够，看了看显卡疯涨的价格又舍不得买卡，试着去搜了搜市面上的免费算力资源，感觉华为云的ModelArts很好用，目前免费提供的算力资源也很NB，56G内存（是内存！）还有Tesla P100 16G的显卡，可是过程略有点会踩坑，这里写下个人使用心得，供大家一起交流讨论。 我用的比较简单暴躁，直接就是想用自己的代码跑自己的数据集。所以只用到了华为云中的OBS Browser+存储数据，ModelArts中的JupyterLab来跑代码，两者互通，废话不多...
【MindSpore，ModelArts】华为云ModelArts简明教程 | 图文
bravozyz的博客
09-27 3982
本文介绍华为云ModelArts前期的准备流程和作业部署流程。本文的许多内容和【ModelArts】鹏城云脑实验平台（华为云ModelArts）使用教程相同，一些操作的具体步骤请参考前文，本文只会在有区别的地方做补充解释。 华为云网址 华为云官网首页右上角： 注册-登录后请先进行实名认证。（实名认证很关键，涉及到后续的步骤是否顺利） 实名认证结束后，开始进行作业部署前的准备阶段。 点击首页右上角的控制台进入控制台页面，点击左侧边栏顶部的三道杠服务列表，在搜索框搜索“ModelArts”，选择ModelA
零代码实现美食分类模型：华为云ModelArts教程
结合【标签】中的信息，可以推测本教程特别强调了如何使用华为云ModelArts平台，以及如何处理与美食相关的图片数据。这说明该教程可能涵盖了如何上传和处理图片数据集、如何使用ModelArts提供的工具和接口进行模型...
华为大数据学习笔记——ModelArts
接华为网络、网安方向小组作业，期末作业，课程设计、毕设等，有意可私信留言。
09-04 946
ModelArts前言环境准备实验步骤 前言 华为面向各行业AI应用的开发与研究，提供全流程、普惠的基础平台类服务，支持多种类别的通用AI能力（包括但不限于图像、视频、语音、自然语言处理，对话机器人等），能够帮助企业应用开发者迅速集成AI能力到业务应用，也可以支持城市、制造等行业解决方案实现。 异构计算硬件是加速AI计算的异构计算资源池，包括高性能的AI计算芯片使能的服务器（GPU，华为Ascend），高速高性能网络和存储，作为整体平台的硬件基础； AI计算框架支持端、边、云独立和协同的统一的AI领域的训练
华为的深度学习平台：ModelArts
fengdu78的博客
10-14 3774
ModelArts是面向AI开发者的一站式开发平台，提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成及端-边-云模型按需部署能力，帮助用户快速创建和部署模型，管理全周期...
华为 ModelArts：AI开发者的一站式开发平台深度解析
最新发布
进击的码农
10-08 2517
ModelArts是华为云提供的一站式AI开发平台，旨在帮助开发者和企业快速构建、训练和部署AI模型。该平台集成了数据准备、模型开发、训练、评估、部署和管理等全流程功能，支持主流的AI框架，如TensorFlow、PyTorch和MindSpore。华为ModelArts作为一款功能强大的AI开发平台，为开发者提供了从数据准备到模型部署的一站式解决方案。它降低了AI开发的门槛，提高了开发效率，并提供了灵活的资源管理方式。无论您是AI领域的新手还是资深专家，ModelArts都能为您的AI项目提供有力的支持。
ModelArts-华为云AI开发平台--ML Studio简介
kongblack的博客
09-09 2118
Machine Learning Studio，简称ML Studio，是一项数据挖掘分析平台，旨在帮助用户通过机器学习技术发现已有数据中的规律，从而创建机器学习模型，并基于机器学习模型处理新的数据，为业务应用生成预测结果。 ML Studio可降低机器学习使用门槛，提供可视化的操作界面来编排机器学习模型的训练、评估和预测过程，无缝衔接数据分析和预测应用，降低机器学习模型的生命周期管理难度，为用户...
华为 AI 开发平台 ModelArts 产品试用
JHZ056的博客
05-27 1418
当前 ModelArts 支持如下格式的数据集。（1）图片：对图像类数据进行处理，支持 .jpg、.png、.jpeg、.bmp 四种图像格式，支持用户进行图像分类、物体检测、图像分割类型的标注。（2）音频：对音频类数据进行处理，支持.wav 格式，支持用户进行声音分类、语音内容、语音分割三种类型的标注。（3）文本：对文本类数据进行处理，支持.txt、.csv 格式，支持用户进行文本分类、命名实体、文本三元组三种类型的标注。（4）对视频类数据进行处理，支持.mp4 格式，支持用户进行视频标注。
华为云ModelArts产品体验
心之所向
06-29 1441
已注册华为帐号并开通华为云，且在使用ModelArts前检查帐号状态，帐号不能处于欠费或冻结状态。
华为云 ModelArts 快速入门
走向CTO的路上...
06-07 854
华为云 ModelArts 是一站式 AI 开发平台，提供全流程 AI 开发工具和服务，帮助开发者快速、高效地构建、训练和部署 AI 模型。ModelArts 平台涵盖了数据准备、模型训练、模型部署、模型管理等全流程功能，并提供了多种预训练模型和算法模板，降低了 AI 开发的门槛。
2023华为产品测评官－开发者之声 | ModelArts：实现智能化的最佳平台
weixin_56509641的博客
07-20 1557
作为华为云AI平台的核心产品之一，ModelArts在人工智能领域有着广泛的应用。本文将分享我对ModelArts平台的体验和应用经验，介绍其场景优势、具体操作流程，并分享我在使用ModelArts过程中的实战经验、应用技巧和成功案例。同时，我也将探讨使用ModelArts平台的感悟与心得，以及如何将其融入到我的工作、学习和生活中。提示：以下是本篇文章正文内容，下面案例可供参考通过本次体验和分享，我对ModelArts平台有了更深入的了解。
华为云ModelArts2.0来袭
华为云官方博客
09-23 3541
【摘要】 modelarts自发布以来，不断地更新增加新的功能来为AI工程师们带来新的服务，在这次的全联接大会上EI服务产品部总经理贾永利宣布——华为云AI重装升级，并重磅发布一站式AI开发管理平台ModelArts2.0。 贾永利表示，“2019年华为完成从芯片到软件的全栈AI能力集结，华为云AI重装升级。通过技术创新，我们希望为AI开发带来全新体验，一方面大幅降低初学者的门槛，让更为广泛的A...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

花花少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值