华为大数据学习笔记——ModelArts

前言

华为面向各行业AI应用的开发与研究，提供全流程、普惠的基础平台类服务，支持多种类别的通用AI能力（包括但不限于图像、视频、语音、自然语言处理，对话机器人等），能够帮助企业应用开发者迅速集成AI能力到业务应用，也可以支持城市、制造等行业解决方案实现。

异构计算硬件是加速AI计算的异构计算资源池，包括高性能的AI计算芯片使能的服务器（GPU，华为Ascend），高速高性能网络和存储，作为整体平台的硬件基础；

AI计算框架支持端、边、云独立和协同的统一的AI领域的训练和推理场景，支持不同的资源部署环境，以统一分布式架构支持机器学习和深度学习，提供跨平台、大规模、高并发的AI算法运行软件环境；

AI开发服务（ModelArts），提供全流程的AI开发服务，海量数据处理、大规模分布式训练、自动化模型生成，端-边-云模型按需部署，运维管理，帮助用户快速创建和部署模型、管理全周期AI工作流，满足不同开发层次的需要，降低AI开发和使用门槛，实现系统的平滑、稳定、可靠运行。

下面以一个图像识别案例展开：

环境准备

注册并登录华为云管理控制台。

了解图像识别相关文档，详见https://support.huaweicloud.com/sdkreference-image/image_04_0011.html。

开通图像识别服务：登录图像识别管理控制台（https://console.huaweicloud.com/image_recognition/?region=cn-north-4），依次选择左侧的“图像标签”、“翻拍识别”，分别在界面单击“开通服务”。服务开通一次即可，后续使用时无需再开通。

准备华为云账号的AK/SK。如果之前可以获取过，可以继续使用之前的AK/SK。如果之前没有生成过AK/SK，可登录华为云，在用户名处点击“我的凭证”，在“我的凭证”界面，选择“管理访问密钥 > 新增访问密钥”来获取，下载认证账号的AK/SK，请妥善保管AK/SK信息。之后的实验不用再新增，可以直接使用此AK/SK信息。

准备project_id。如果之前已经获取过，还可以继续使用之前的project_id。如果没有获取过，可在“我的凭证”界面的项目列表中查看项目ID，复制所属区域的项目ID为自己的project_id。

已经安装好Python环境，Python SDK适用于Python3，推荐使用Python3.6

实验步骤

该实验需要在华为公有云服务上下载图像识别的SDK，通过AK\SK信息进行身份认证从而调用SDK底层接口服务进行Restful服务请求的提交，本实验就是通过SDK来调用图像识别的服务的，并在Jupyter Notebook中实验，具体步骤如下：

步骤 1导入所需要的包

# -*- coding:utf-8 -*-
from image_sdk.utils import encode_to_base64
from image_sdk.image_tagging import image_tagging_aksk
from image_sdk.recapture_detect import recapture_detect_aksk
from image_sdk.utils import init_global_env

步骤 2配置相关参数

ak = "***"  #配置自己的ak
sk = "***"  #配置自己的sk
region = "cn-north-4" #默认使用北京-4区，对应的区域代码即为cn-north-4

步骤 3配置实验数据路径

img_tag_path="data/image-tagging-demo.jpg"
img_recapture_detect_path = "data/recapture-detect-demo.jpg"

image-tagging-demo.jpg的数据图像如下：

步骤 4初始化全局环境

init_global_env(region)

步骤 5图像标签测试

result = image_tagging_aksk(ak, sk, encode_to_base64(img_tag_path), '', 'en', 5, 60)
print(result)

image_tagging_aksk这个函数的前2个参数分别是ak和sk，第3个参数是图像数据进行编码，第4个参数是url上的图片，如果使用本地图片，我们只需要这里传入空字符串即可，第5个参数是支持的语言，目前支持中文(“zh”)和英文(“en”)，第6个参数表示最多返回的标签数，默认为-1的话，代表返回所有标签，第7个参数指的是置信度的阈值（0~100），低于此置信数的标签，将不会返回，默认值为0。

输出结果：

{"result":{"tags":[{"confidence":"100.0","i18n_tag":{"en":"Koala","zh":"考拉"},"tag":"Koala","type":"object"},{"confidence":"100.0","i18n_tag":{"en":"Marsupials","zh":"有袋目"},"tag":"Marsupials","type":"object"},{"confidence":"70.51","i18n_tag":{"en":"Veterinarians office","zh":"兽医办公室"},"tag":"Veterinarians office","type":"scene"}]}}

返回结果有2个标签，tags代表标签列表集合，confidence代表置信度，取值范围：0-100，i18n_tag 代表标签的国际化字段（zh对应中文，en对应英文），tag代表标签名称，type代表标签类别（object:实体标签，scene:场景标签，concept:概念标签）