(十)将AI Docker容器部署到云端

最新推荐文章于 2024-08-09 08:19:22 发布
最新推荐文章于 2024-08-09 08:19:22 发布
阅读量593 收藏 3
点赞数
分类专栏： 人工智能 Docker 文章标签： azure docker ai
原文链接：https://www.codeproject.com/Articles/5302896/Deploying-AI-Docker-Containers-to-the-Cloud
版权

目录

介绍

应用代码

准备Azure资源

构建容器镜像并将其推送到Azure容器注册表

创建和运行容器

创建具有GPU支持的容器实例

容器实例限制

Azure 清理

总结

介绍

Docker等容器技术可简化依赖项管理并提高软件的可移植性。在本系列文章中，我们探讨了Docker在机器学习(ML)场景中的使用。

本系列假设您熟悉AI/ML、容器化，尤其是Docker。

在上一篇文章中，我们使用Fast API和Gunicorn调试了通过Rest API服务公开的NLP模型。

在本文（本系列的最后一篇）中，我们将使用Azure容器实例将我们的Rest API服务部署到云。欢迎您下载本文中使用的代码。

应用代码

我们将使用我们在前几篇文章中使用的相同应用程序代码和容器定义。为了保持解决方案的简洁和专注，附加的代码存档仅包含将我们的示例发布到Azure所需的那些文件。如果您想要挑战，可以使用我们将在此处讨论的代码片段（而不是使用本文的代码下载）扩展最后两篇文章之一的解决方案。

准备Azure资源

如果您还没有Azure订阅，您可以创建一个免费帐户。

首先，让我们设置正确的Azure AD目录和订阅：

$ az login --tenant <your_tenant_uri>
$ az account set --subscription <your_subscription_guid>

确保用正确的值（例如，分别为your_directory_name@onmicrosoft.com和 222aaa2a-a2a2-22aa-a222-2aaaa2a22a22）替换<your_tenant_uri>和<your_subscription_guid>占位符。请注意，如果您只有一个Azure订阅和一个Azure Active Directory，则该az login语句不带任何其他参数就足够了。

要发布我们的应用程序，我们需要设置一些Azure资源，即：具有文件共享和容器注册表的存储帐户。我们可以使用Azure门户或命令行来创建它们。我们将使用后一个选项，使用bash和azure-cli：

LOCATION='westeurope'
BASE_NAME='mld10api'
RG_NAME='rg-'$BASE_NAME
STORAGE_NAME=$BASE_NAME'store'
SHARE_NAME=$BASE_NAME'share'
ACR_NAME=$BASE_NAME'acr'

az group create --name $RG_NAME --location $LOCATION
STORAGE_ID=$(az storage account create -n $STORAGE_NAME --resource-group $RG_NAME --location $LOCATION --sku Standard_LRS --query 'id')
STORAGE_KEY=$(az storage account keys list --resource-group $RG_NAME --account-name $STORAGE_NAME --query '[0].value' --output tsv)
az storage share create --name $SHARE_NAME --account-name $STORAGE_NAME  --account-key $STORAGE_KEY
ACR_ID=$(az acr create -n $ACR_NAME --resource-group $RG_NAME --sku 'Basic' --admin-enabled --query 'id')
ACR_KEY=$(az acr credential show --name $ACR_NAME --query 'passwords[0].value' --output tsv)

请确保您使用一个单一的控制台会话的所有步骤，因为我们需要访问新定义的变量（包括STORAGE_ID，STORAGE_KEY，ACR_ID，和在随后声明的ACR_KEY）。

构建容器镜像并将其推送到Azure容器注册表

要构建容器映像并将其推送到我们新创建的Azure容器注册表，我们需要一个简单的命令：

$ IMAGE_TAG=$BASE_NAME'img:v1'
$ az acr build --registry $ACR_NAME --image $IMAGE_TAG .

请注意，您甚至不需要安装Docker即可使用此命令，因为构建在云中运行。或者，如果您更喜欢使用本地Docker安装构建镜像，您可以使用以下顺序：

$ docker login $ACR_NAME.azurecr.io
$ docker build -t $IMAGE_TAG .
$ docker tag $IMAGE_TAG $ACR_NAME.azurecr.io/$IMAGE_TAG
$ docker push $ACR_NAME.azurecr.io/$IMAGE_TAG

创建和运行容器

现在我们只剩下一步了——在Azure上创建和运行容器实例。我们可以使用az container create命令来完成。在最简单的形式中，我们直接指定所有必需的参数。例如：

$ ACI_NAME=$BASE_NAME'aci'
$ ACI_DNS=$BASE_NAME'-nlp-api'
$ az container create \
    --resource-group $RG_NAME \
    --name $ACI_NAME \
    --image $ACR_NAME.azurecr.io/$IMAGE_TAG  \
   --dns-name-label $ACI_DNS \
   --ports 8000 \
   --cpu 1 \
   --memory 4.0 \
   --registry-username $ACR_NAME \
   --registry-password $ACR_KEY \
   --azure-file-volume-account-name $STORAGE_NAME \
   --azure-file-volume-account-key $STORAGE_KEY \
   --azure-file-volume-share-name $SHARE_NAME \
   --azure-file-volume-mount-path /home/mluser/.cache

最后四个--azure-file-volume-*属性将我们的Azure文件共享作为一个卷映射到我们的容器。这样，即使我们停止、删除和重新创建容器，我们在服务中下载和使用的NLP模型也将被持久化。

几分钟后（这里指的是几分钟——这需要一段时间），我们的容器应该启动并运行：

使用我们容器服务的FQDN地址，后跟“:8000/docs”，我们可以访问我们服务的OpenAPI接口，就像我们之前所做的一样。唯一的区别是现在它托管在Azure上：

创建具有GPU支持的容器实例

您可能已经注意到该az container create命令的配置选项很少（CPU数量和RAM 大小）。要将GPU添加到容器中，我们需要使用配置文件，该文件可以实现为YAML或Azure资源管理器(ARM)模板。

有了这些知识，我们可以使用YAML配置再次重新创建我们的容器，这次添加了GPU支持：

$ az container delete --name $ACI_NAME --resource-group $RG_NAME

$ echo "
apiVersion: '2018-10-01'
name: $ACI_NAME
properties:
  containers:
  - name: $ACI_NAME-1
    properties:
      image: $ACR_NAME.azurecr.io/$IMAGE_TAG
      ports:
      - protocol: TCP
        port: 8000
      resources:
        requests:
          cpu: 1.0
          memoryInGB: 4.0
          gpu:
            count: 1
            sku: K80
      volumeMounts: # Array of volume mounts for the instance
      - name: mluser-cache
        mountPath: /home/mluser/.cache
        readOnly: false
  imageRegistryCredentials: # Credentials to pull a private image
  - server: $ACR_NAME.azurecr.io
    username: $ACR_NAME
    password: $ACR_KEY
  osType: Linux
  restartPolicy: OnFailure
  ipAddress: # IP address configuration of container group
    ports:
    - protocol: TCP
      port: 8000
    type: Public
    dnsNameLabel: $ACI_DNS
  volumes: # Array of volumes available to the instances
  - name: mluser-cache
    azureFile:
      shareName: $SHARE_NAME
      readOnly: false
      storageAccountName: $STORAGE_NAME
      storageAccountKey: $STORAGE_KEY
" >> .containers.yml

$ az container create --resource-group $RG_NAME --file .containers.yml --location $LOCATION

请注意，生成的.containers.yml文件包含Azure容器注册表( $ACR_KEY)和存储帐户($STORAGE_KEY) 的密钥（密码）。这就是为什么你在处理它时应该非常小心。您永远不应该将它添加到代码存储库中。

该az container create命令使用保存的配置文件来创建和启动容器（这次有GPU支持）。

如果一切顺利，我们新的预测时间应该会大大减少。在我们的实验中，GPU上的推理比仅使用CPU的部署快大约两倍。

容器实例限制

使用Azure容器实例是在Azure云上运行Docker容器的最简单方法。不过，通常只推荐用于快速原型而不是生产系统。主要原因是您可以使用一组粗糙的可扩展性选项，仅限于CPU数量、RAM大小和GPU数量。要更改这些值中的任何一个，您需要重新创建容器实例。如果您需要更高级的可扩展性选项，例如水平或自动缩放，您可能需要使用更强大的功能，例如Azure机器学习服务或Azure Kubernetes服务。

Azure 清理

为避免不受控制的费用，您需要清理不再使用的Azure资源。当您使用昂贵的容器主机配置（例如，具有大量CPU/RAM或GPU）时，这一点尤其重要。

至少，当您不打算再使用容器实例时，您应该始终停止它：

$ az container stop --name $ACI_NAME --resource-group $RG_NAME

如果要删除所有相关资源，可以删除整个资源组：

$ az group delete --name $RG_NAME

总结

我们已使用容器实例成功将自然语言处理REST API服务发布到Azure云。在本系列文章中，我们探索了在ML任务中应用Docker容器的几个场景。我们希望您能在我们的文章中找到对自己有用的东西。

https://www.codeproject.com/Articles/5302896/Deploying-AI-Docker-Containers-to-the-Cloud

寒冰屋
关注
专栏目录
Docker 化部署 Apache Spark
程序员光剑
08-06 888
15年7月，Apache基金会宣布开源了Spark项目，这标志着基于内存计算的大数据处理技术进入了一个全新的阶段。由于Spark的分布式架构特性，使其具有极高的可扩展性和容错性。因此，越来越多的公司、组织和个人开始使用Spark作为分析平台进行大数据的分析处理。同时，Spark也已经成为开源领域里非常流行的一个项目。在生产环境中，部署Spark的方式通常采用集群部署模式，即将集群中的各个节点配置成一个整体，形成统一的计算资源池。这种方式的优点是简单、灵活，能够适应各种业务场景；
容器技术、Docker在云端部署机器学习模型
程序员光剑
09-18 1020
随着互联网技术的飞速发展，在线服务、在线学习、在线商城等业务蓬勃发展。越来越多的人通过互联网获取信息、购物、网络支付。这些应用从用户角度看来非常方便，用户无需自己下载安装应用程序，就能直接访问应用网站或在线工具，实现了极大的便利性。但同时也带来了安全隐患。由于应用部署在云端，很容易受到攻击或病毒侵入。因此，如何保障这些应用的安全一直是一个重要的话题。而利用容器技术，可以有效地对应用进行封装隔离，提升其安全性。本文将会详细讨论容器技术、Docker在云端部署机器学习模型的相关知识。
面向 AI 的容器云平台
01-14
通过结合容器化私有云平台与异构计算技术，可以良好的解决当前 AI 市场中的几个突出痛点。曙光凭借在高性能计算领域深厚的技术积累，推出了面向 AI 的高性能计算平台 SothisAI，实现了从异构计算服务器到容器化资源调度再到深度学习框架的云平台整体架构建设。不论是在科学研究还是工程应用领域，曙光都在不断促进和推动人工智能技术的快速发展。
Docker部署AI算法教程
11-05 1765
docker上部署算法除了一些推理框架外，有时候会自己用torch推理加上一些web应用，下面写下自己用的一套方法。 Docker+cuda10.1+miniconda3+torch1.7.1 docker要求19.03以上才支持cuda 1.安装docker，我这里使用的centos7 $ sudo yum install -y yum-utils device-mapper-persistent-data lvm2 $ sudo yum-config-manager --add-repo ht
LocalAI 开源项目安装与使用指南
最新发布
gitblog_01139的博客
08-09 517
LocalAI 开源项目安装与使用指南 LocalAI项目地址:https://gitcode.com/gh_mirrors/loc/LocalAI 目录结构及介绍 当你通过 git clone https://github.com/go-skynet/LocalAI.git 下载并解压了 LocalAI 的源代码之后，你会看到以下主要目录和文件： bin/: 存放可执行文件和脚本的地方。 ...
人工智能算法Docker容器化部署
EncodingLee的博客
08-21 889
Docker 是一种容器化平台，允许开发人员将应用程序及其所有依赖项打包到一个独立的容器中。这个容器可以在任何支持 Docker 的环境中运行，确保了应用程序在不同环境中具有相同的行为。
docker部署至云端
m0_46254595的博客
08-06 376
前端 1、在新建会话里敲命令 删除之前的容器和镜像 先删除容器再删除镜像 (1)删容器 先列出有哪些容器：docker ps -a 要先暂停容器，才能删除： 暂停单个容器：docker stop < CONTAINER ID >这里的id只输前两位或三位即可 如：docker stop 9bb 删除容器： 删除单个容器：docker rm < CONTAINER ID > 如：docker rm 9b (2)删镜像 列出镜像：docker images 删除镜像： 删除单
用通俗易懂的方式讲解大模型：使用 Docker 部署大模型的训练环境
2301_78285120的博客
12-30 4333
Docker 安装与主机安装的方式相比，我们少安装了 CUDA 和 PyTorch 程序，多安装了和下载 Docker 镜像，但整体花费的时间其实是减少了的（因为 CUDA 和 PyToch 安装时间比较长）。Docker 安装最大的好处就是可以随时切换不同的环境，而且不会影响到主机的环境。
Docker容器技术实战指南：从入门到容器化应用部署，解锁云原生应用开发
[Docker容器技术实战指南：从入门到容器化应用部署，解锁云原生应用开发](https://img-blog.csdnimg.cn/img_convert/e13fc6c39bd3c3711fc21927e9b5a184.jpeg) # 1. Docker容器技术基础 Docker容器是一种轻量级的...
Docker 容器技术
程序员光剑
08-22 447
作者：禅与计算机程序设计艺术 1.简介 Docker 是一种开源的应用容器引擎，它可以轻松打包、部署和运行应用程序，并在任何基础设施上运行，包括物理机、虚拟机或云端。Docker 将应用程序及其依赖项打包成一个可移植的镜像，然后这个镜像就可以运行于任意的地方，这就是所谓的“一次构建，到处运行”的理念。D
将人工智能模型部署到云端,通过云服务提供商如AWS,Azure等,实现模型与业务数据集成,并确保模型安全性
程序员光剑
09-21 1097
作者：禅与计算机程序设计艺术 1.简介 人工智能(AI)已经成为各行各业中的重要技术。对于企业而言，AI应用于生产制造领域可以降低成本、提升效率、改善品质，提升竞争力；对于政府部门而言，基于AI的诊断系统能够自动分析大量医疗信息，有效地减少疾病发病率；对于消费者而言，基于图像识别技术的智能手机助手可以帮
(三)在Docker容器中运行AI模型
寒冰屋的专栏
02-21 2402
​ Docker等容器技术显着简化了软件的依赖管理和可移植性。在本系列文章中，我们探讨了Docker在机器学习(ML)场景中的使用。 本系列假设您熟悉ML、一般容器化，尤其是Docker。欢迎您下载项目代码。 在上一篇文章中，我们创建了一个用于实验和训练的基本容器。在本节中，我们将创建一个容器来对经过训练的模型运行预测。 ​
docker ai部署
weixin_40598518的博客
07-12 28
如何实现“docker AI部署” 流程图 #render_6_977879163-svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#render_6_977879163-svg .error-icon{fi...
docker --- > 将已有的项目发布到云端
栗子好好吃的博客
11-07 475
[运行在win10] Dockerfile Docker根据该文件生成image文件 FROM node:8.4 COPY . /app WORKDIR /app RUN ["npm", "install"] EXPOSE 3000/tcp 根据Dockerfile生成image 注意末尾有个.(英文的点)代表当前目录 docker image build -t koa-demo:0.0.1 ....
AI工程部署（一）：Docker微服务【标准工作流：①构建阶段（编写Dockerfile，构建镜像； 将镜像push到dockerhub）；②部署阶段（从dockerhub上pull镜像； run）】
u013250861的博客
02-12 1329
一、构建镜像 1、编写Dockerfile # 声明基础镜像版本，选择pytorch官方镜像 FROM pytorch/pytorch:1.3-cuda10.1-cudnn7-runtime # 声明维护者 MAINTAINER old-wei <old-wei@gmail.com> # 首先拷贝requirements.txt进docker COPY ./requirements.txt /requirements.txt # 安装python依赖（如果安装较慢，请更换国内pip源：-i
(二)为AI和机器学习创建Docker容器
寒冰屋的专栏
02-21 752
​ Docker等容器技术显着简化了软件的依赖管理和可移植性。在本系列文章中，我们探讨了Docker在机器学习(ML)场景中的使用。 本系列假设您熟悉ML、一般容器化，尤其是Docker。欢迎您下载项目代码。 在本系列的上一篇文章中，我们已经讨论了Docker基础知识。在本文中，我们将开始应用这些知识，同时在各种ML场景中创建和运行容器。首先，我们将创建一个用于实验和训练的通用容器。 ​
Docker在人工智能领域的应用与实战
2401_85757907的博客
07-04 2281
人工智能（AI）技术的快速发展带来了对高效开发和部署工具的需求。Docker作为一个创新的容器化平台，为AI领域提供了强大的支持。本文详细介绍了Docker在AI模型开发、训练、部署以及服务器集群管理等方面的应用，并探讨了其在数据管理和处理、深度学习框架镜像发布等场景下的优势。Docker 容器化技术在 AI 领域的应用前景广阔，它为 AI 应用的开发、部署和管理提供了一种高效、灵活的解决方案。
AI 实力：利用 Docker 简化机器学习应用程序的部署和可扩展性
程序猿大波的博客
08-14 1820
以下部分深入探讨了 Docker、它在 ML 模型部署中的作用，以及使用 Docker 部署 ML 模型的实际演示，从 Dockerfile 的创建到使用 Docker Swarm 扩展模型，所有这些都通过相关代码片段。Docker 的容器化特性确保了 ML 模型的训练和服务环境之间的一致性，从而降低了因环境差异而出现差异的风险。其次，Docker 擅长促进可扩展性。这种一致性消除了臭名昭著的“它可以在我的机器上运行”问题，使其成为部署机器学习模型的首选，因为机器学习模型对其操作环境的变化特别敏感。
docker 配额制AI环境
嘿，逮到一只大码农
05-07 408
#docker 安装http://www.linuxidc.com/Linux/2014-12/110034.htm#鉴黄环境docker run -i -t docker.io/continuumio/anaconda3 /bin/bashconda install tensorflowconfa install numpyconda install opencv  #docker修改后，内容提...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值