ModelArts相关的技术（转载）

最近在学习ModelArts相关的技术，也通过了一些相关的微认证。这篇文章主要介绍一下ModelArts。围绕下面这几个问题：
  1.ModelArts是什么？
  2.ModelArts的架构
  3.ModelArts借助的一些底层服务
  4.ModelArts相关技术

1.ModelArts是什么？
  其实ModelArts是华为搞的一站式AI开发平台(一站式指提供AI开发的所有环节，包括数据处理、模型训练、模型评估、模型部署)，能够支持异构计算资源(分布式)，提供个性化的需求。ModelArts面向对象包括AI小白(AI基础知识为0，但希望利用AI完成应用需求)、AI工程师(做AI相关的开发)。

  ModelArts的优势有如下几点：
  1）一站式开发更便捷，提供模板模型，可以让用户专注于上层应用。从而把AI当作一种技术手段。
  2）底层支持各种异构计算资源，可以灵活选择，可以利用华为云的分布式计算优势快速训练模型
  3）ModelArts支持主流的AI开发框架：tensorflow，caffe，pytorch等，也有华为自主研发的轻量级框架MoXing。同样也支持开发者的自研算法框架

  ModelArts的面向对象(为不同层次、不同需求的对象都可以提供相应的帮助)：
  1）对业务开发者，屏蔽模型和编码，只是快速构建AI应用
  2）对AI小白，不关注模型开发，利用预置算法，预置模型构建AI应用
  3）对AI工程师，提供多种开发环境、操作流程，快速构建模型及应用

2.ModelArts的结构
  ModelArts的架构可以分成如下五个部分：

  1）AI数据框架：指对AI训练数据的相关处理，例如预处理中的筛选和自动标注(较传统人工标注大大提高效率)，同时数据也有指定的位置进行存储。数据类型包括：原始数据、标注数据、血缘数据
  2)算法开发：集成便捷的主流框架(也有华为自研的高效框架Moxing)，同时预置模型算法可以帮助提升开发效率
  3)训练：分布式集群加速，按需配置，大大缩短训练时长
  4)部署：一键部署端边云，屏蔽异构影响
  5)市场：对内，企业共享AI模型。对外，社区(AI Gallery)建立完整生态

  ModelArts整个过程是完全可视化的，可以大大提高开发效率。

3.ModelArts借助的一些底层技术
  技术当然有很多(云硬盘服务EVS，弹性云服务ECS等等等)，在此主要介绍两种：统一身份认证(IAM)和面向对象存储服务(OBS)
  统一身份认证(IAM)
  ModelArts使用IAM来实现认证功能，关于IAM更多具体的信息可到华为云官网去找。ModelArts参考：华为云官网IAM。在此我想说关于ModelArts全局配置中的访问授权，过去支持两种：使用委托(建立委托用户)和使用访问密钥(配置AK和SK)，但目前经实践只支持前者了(看来ModelArts也是在不断变的，在不断迭代一些东西)。

  面对对象存储服务(OBS)
  OBS是华为自研的存储库，可以简单理解成一个数据库吧。在AI开发各个阶段的一些数据(模型、数据等等)都可以存储在OBS之中(当然是计费的啦~)。OBS以桶为顶层数据结构，桶(顶层数据结构)内包含多个对象，对象(基本数据结构)包括元数据、数据、键值。
  OBS提供的存储类型有三种：标准存储、低频访问存储、归档存储。从左到右访问频次依次下降，同样成本也依次下降。
  OBS提供的访问方式有四种：管理控制台、OBS Browser(已逐步弃用)，OBS Browser+，obsutil。各自具体功能可参考下面这篇博客：https://www.cnblogs.com/kylingx/p/12718537.html

4.ModelArts提供的功能
  ModelArts提供的功能当然很多啦，这个可以在它的官网功能总览处看到。这里只想说一下自动学习，自动学习的实现是基于ModelArts的(这是我新发现的概念，简直有点儿颠覆以前的认知~)
  自动学习，从名字看自动学习就是自己学习(我曾经在6G相关的内容中看到过，当时还认为不可思议)。使用者只需要提供数据，并为数据进行部分预处理(打标签等)。借助自动学习就可以根据标注数据自动设计模型，自动调参，自动训练，自动压缩和部署模型。华为云自动学习的应用场景包括如下几个：（1）图像分类 （2）物体检测(是否包含指定物体) （3）预测分析 （4）声音分类
所以自动学习面对的就有应用需求的AI小白，可以利用自动学习，快速的进行模型部署。

  本次首次接触到ModelArts感触还是挺深的，我觉得想入手深度学习的人都可以先用这个找找感觉，培养培养兴趣。实际操作一个应用，看看到底效果如何。有了ModelArts就不用再为配环境而发愁，也不受自身计算资源的限制(有的笔记本是AMD的显卡，没法装CUDA也就没法GPU加速)。
  本文介绍的ModelArts只是冰山一角，更多详细的内容可以去观看华为云文档：华为云官网ModelArts
————————————————
版权声明：本文为CSDN博主「DWQY」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/gls_nuaa/article/details/121725066