【云原生】AI云开发平台——AI Model Foundry介绍(开发者可免费体验AI训练模型)

最新推荐文章于 2024-09-14 10:45:01 发布

是羽十八ya

最新推荐文章于 2024-09-14 10:45:01 发布

阅读量3.4k

点赞数 18

分类专栏：云原生文章标签：人工智能云原生华为云 devops 机器学习

本文链接：https://blog.csdn.net/yushiba972/article/details/124969538

版权

云原生专栏收录该内容

6 篇文章 0 订阅

订阅专栏

“本文主要介绍了华为云原生开发GDE AI 下的AI Model Foundry模块，华为云为开发者提供了丰富的云原生免费体验平台，并发布了众多云原生开发教程，有助于云原生开发者深入学习云开发相关知识，成为高级云原生工程师。”

(文末附华为云官方云原生开发教程、华为云开发者免费注册体验指南、华为云原生GDE AI开发入口)

前言

本文三大主要板块：

华为GDE AI开发平台
GDE Model Foundry低门槛开发工具
AI Model Foundry实战演示

一、GDE AI平台介绍

1.平台简介

GDE AI平台是面向GTS AI开发者的一站式开发平台，提供海量数据预处理、样本自动化标注、大规模分布式训练、自动化模型生成及按需部署预测服务的能力；并提供了图像、文字、知识图谱、自然语言处理、预测性维护等多种AI领域通用服务，使企业能快速开发和构建AI业务，并且支持电信网终端制造等行业自动化、智能化解决方案实现。

GDE平台辅助组成元素：

GDE技术底座——屏蔽GDE平台对基础设施的依赖，使AI平台能够轻松部署到各种硬件资源上。
GDE数据中台——集成存储、处理数据，使AI平台能够专注于样本库的处理。
GDE应用开发中心——从界面、数据、服务等层面对其进行编排。
GDE运维中心——对服务面和数据面进行统一的运维管理。

关键特性：效率高、门槛低、性能优、运维易。

2. 平台功能

2.1 样本处理与数据增强能力

样本处理流程：数据上传——自动/人工筛选——人工标注——标注审核——生成数据集——训练模型——数据推理——失败数据回传重新标注

流程图：

优势：

①价值样本数量多，数据复用率高。

②样本标注工具极其丰富。

③能快速克隆样本，并有样本增强的能力，可以优化样本质量。

2.2 模型训练、模型开发

GDE平台提供丰富、一站式的开发工具链，通过Notebook在线开发和PyCharm本地开发、远程调试的方式，能够有效提升AI开发效率，通过导航式开发可以有效降低AI应用开发门槛。

支持的开发方式：Notebook在线开发；PyCharm本地开发、任务远端执行测试；基于模板的导航式开发。

2.3 推理服务

推理服务：一键式将服务模型封装部署供上层应用调用。

a.推理服务的基本能力：

①支持预测服务的运行状态监控、日志分析。

②支持滚动升级和灰度发布。

③支持模型监控及重训练。

④支持不同框架模型格式(例如：.pb/.pkl/.h5)。

⑤支持Tensorflow/Pytorch/Spark MLlib框架。

⑥支持深度学习任务GPU加速执行。

b.推理服务与传统自部署模型对比：

c.推理服务的调用方式：

①在线推理(通过API接口调用)

特点：高并发、低延时、自动弹性伸缩、推理效率高、支持多模型灰度发布。

②批量推理

特点：高效率分布式计算、可处理大量数据推理、支持GPU加速。

二、GDE Model Foundry介绍

1.知识导读

什么是AI？——能够“自主学习到一个函数”的程序。

示例：

在语音识别领域，给定一段语音波形，AI能够自主学习到一个函数将语音波形转化为文字。

在图像识别领域，给定一张图片，AI能够自主学习到一个函数将图像识别。

Model Foundry——解决AI开发的主要痛点

AI开发痛点一：专业门槛高、技术栈多

传统AI开发所需部分技能：高等数学基础、AI相关理论知识、编程技术能力

AI开发痛点二：开发流程长、集成难度高、无资产复用和沉淀

AI开发流程概览：

2.GDE Model Foundry

2.1 GDE Model Foundry是什么?

定义：Model Foundry寓意模型精炼工厂，打造高质量模型规模生产、批量交付。
目标：降低AI建模门槛，支持低代码开发；沉淀AI资产，提升AI建模效率，缩短开发周期。
核心：模块化、流程化AI开发的中间过程。

2.2 AI Model Foundry开发优点：

①能力可复用、高效建模、节省人力。

②向导式开发，可视化建模、准入门槛低。

③AI模型全生命周期管理，可持续监控、持续训练。

附：传统AI开发模式开发人力资源 VS AI Model Foundry 开发人力资源

附：传统AI开发现实体验 VS AI Model Foundry 开发现实体验

2.3 AI Model Foundry架构

①基础设施：兼容主流基础设施，如：docker、私有云、公有云等。

②基础框架：兼容丰富的基础框架，如：PyTorch等.

③Model Foundry：提供模板引擎以及针对不同应用场景的AI模板库。

④应用领域：支持电信领域、工业领域、通用业务等多领域的应用。

2.4 AI Model Foundry模板开发

特点：

①基于Jupyter Notebook的开发环境(对接ADC编排)。

②提供可视化开发调试插件(例如：PyTorch)。

③提供丰富的SDK开发组件和预置算子支持。

模板开发：通过模板引擎提供的流水线(Pipeline)，实现各个模块的功能，进行基于模板的从零开发。

模板开发的六个子流程：

开发态：

①数据：进行数据源的配置，数据模型定义，特征工程的处理等(如：数据标注)。

②算法：算法配置，设定训练的目标，算法结果评估等。

③模型：工作流程的编排，模型安全的制定等。

运行态：

④服务：模型部署(上线、离线)，安全验证，模型包解析加载，服务管理等。

⑤评估：模型监控，精度跟踪，模型验证评估等。

⑥调优：模型优化，优化对比等。(可选)

2.5 AI Model Foundry开发模板

开发模板的基本概念：(层次从高到低)模板 → Pipeline → Stage → Component

①Pipeline：指机器学习开发应用过程中从数据读取到数据预处理、特征工程、模型训练和模型评估和部署监控的一个完整的机器学习过程。模型生命周期过程中涉及多个独立的处理流程，每个流程抽象为一个Pipeline。比如：模型训练、模型评估优化和模型推理。Pipeline由一系列的步骤(Stage)顺序组成。