OpenShift AI - 部署 OpenShift AI 环境，运行 AI/ML 应用

已于 2024-03-02 08:37:56 修改
阅读量900 收藏
点赞数
文章标签： openshift 人工智能
于 2023-11-21 19:43:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43902588/article/details/134527569
版权

《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在 OpenShift 4.15 + RHOAI 2.7.0 的环境中验证

注意：如无特殊说明，和 OpenShift AI 相关的 Blog 均无需 GPU。

文章目录

RHOAI (RHODS) 简介

注意：由于红帽已在 2023/12 将 Red Hat OpenShift Data Science (RHODS) 正式改名为 Red Hat OpenShift AI (RHOAI)，因此下文的 RHOAI 等同于 RHODS。

Red Hat OpenShift AI 是一个专注于人工智能的产品组合，为 AI/ML 实验和模型的整个生命周期提供工具。它是红帽驱动的社区开源软件 Open Data hub 的企业版。

RHOAI 是面向混合云的开源 AI/ML 平台。它向数据科学家和开发人员提供了一个完全受支持的环境，以便在部署到生产环境之前进行快速开发、训练和测试ML 模型。RHOAI 提供了 ML 常用的 Jupyter notebooks-as-a-service、TensorFlow 和 PyTorch 等工具环境以及用于模型服务和数据科学管道的 MLOps 组件，而且还对这些组件以及流程进行了集成，使得开箱即用。

RHOAI 是独立于 OpenShift 的产品，它即可在红帽托管的公有云上部署运行，也可在用户自管的 OpenShift 环境中部署运行。在这里插入图片描述

RHOAI 的功能组件

RHOAI 内置的功能组件和相互关系如下图和下文描述：
在这里插入图片描述
模型 - 人工智能模型、机器学习模型或简称模型是一种系统或算法，旨在通过执行通常需要人工干预的任务或做出通常需要人工干预的决策来模拟人类的能力。就内部而言，模型通常是一种概率或代数算法（如矩阵）。模型接收输入数据，应用算法（决策树、神经网络、天真贝叶斯等）并产生输出。一般来说，训练过程会反复调整这些算法的系数，直到输出值与训练数据相似。

Jupyter Notebook - Jupyter Notebook 是一种基于网络的应用程序，允许用户交互式地创建包含叙述性文本、可执行代码和可视化内容的实时文档。Jupyter Notebook 是数据科学和机器学习领域的常用工具。

Workbench - Workbench 是在 OpenShift 上运行的容器化、云原生数据科学工作环境。Workbench 通过 pods 运行，包含常用的数据科学工具（如 JupyterLab）、库（如 Tensorflow）或随时可用的 GPU 功能。RHOAI 提供了几种用于创建 Workbench 的预配置容器镜像。

Workbench Image - 运行 Workbench 的容器图像。RHOAI 包含可用于不同工作环境的镜像。每个镜像包含一组不同的库和版本。Pytorch、TensorFlow、Minimal Python 或 Standard Data Science 就是这些映像的例子。用户可以使用提供的 Workbench Image，也可以根据自己的需要创建自定义 Workbench Image。

持久存储 - 可以将不同类型的存储挂载到工作区，以持久化工作成果。

Data connection - Data connection 是将 Workbench 连接到外部云存储提供商（如 AWS S3）的配置值映射，用来从外部向应用提供模型训练数据。。

Data Science Pipeline - 以自动化方式执行脚本或 Jupyter Notebook 的工作流。管道有助于规范数据收集–数据清理–模型训练–模型评估–模型上传的周期。通常管道会在训练好的模型上传到 S3 存储桶或类似云存储后结束。

Model Server - 模型服务器可以读取导出的模型文件，并通过标准 API 提供模型。模型服务器需要 Data connection 才能从云存储中下载模型文件。

AI/ML 项目实施流程

使用 RHOAI 开发部署运行 AI/ML 项目的流程如下：
在这里插入图片描述

获取数据 - 在这一阶段，数据科学家将数据载入工作台。例如，数据科学家可以将文件上传到工作台、从 S3 下载文件、从数据库查询数据或读取数据流。RHOAI 在许多 Workbensh 中都包含了 Pandas 库。Pandas 提供从 CSV、JSON 或 SQL 等不同来源加载数据的函数。此外还可以使用 Red Hat Marketplace 上经过认证的 ISV 生态系统应用程序（例如 Starburst 和 Cloudera）来添加特定的数据摄取功能。

预处理数据 - 在这一阶段，数据科学家对数据进行探索、分析和预处理。在 Jupyter Notebook 中，数据科学家使用 Matplotlib、Pandas 和 Numpy 等库绘制可视化图、对数据进行归一化处理或删除异常值。

训练模型 - 在这一阶段，数据科学家使用预处理数据来训练模型。RHOAI 提供了使用 TensorFlow、PyTorch 和 Scikit-learn 等常用库训练模型的 Workbench Image，其中一些 Image 还包括随时可用的 GPU 支持，以加快训练速度。

评估模型 - 训练完成后，数据科学家会评估训练模型在测试和验证数据子集上的性能。这些子集是摄入数据的一部分，用于验证训练好的模型是否有泛化能力，即在未见过的样本上表现良好。通常，数据科学家会重复预处理-训练-评估循环，直到他们对模型评估指标感到满意为止。

导出和上传模型 - 模型训练和评估完成后，数据科学家可将模型文件上传到由 Data Connection 配置的存储空间。

管道执行 - 机器学习工程师可以构建数据科学管道来自动运行前面的一系列步骤，例如，在有新数据时。RHOAI 提供的数据科学管道是 Tekton、Kubeflow Pipelines 和 Elyra 的组合。工程师可以选择是使用 Elyra 创建管道，在可视化的高层次上工作，还是使用 Tekton 和 Kubeflow 的深层知识，在低层次上工作。

部署模型 - 机器学习工程师可以创建模型服务器，从外部 S3 存储获取导出模型，并通过 REST 或 gRPC 接口公开模型。模型服务器使用数据连接从 S3 下载模型文件。

监控模型 - 机器学习工程师和数据科学家可以使用 Prometheus 收集的指标监控生产中模型的性能。

开发和部署应用程序 - 模型在生产中可用后，应用程序开发人员可以通过将其应用程序指向模型服务器的 REST/gRPC 接口，开发和部署使用已部署模型的智能应用程序。

安装 RHOAI 环境

运行环境说明

  • 本文使用的是单机版 OpenShift Local 4.15 环境。
  • 本文除了要以容器的方式运行部署 RHOAI（包含 Jupyter notebooks、ML 运行监控等）环境，还要部署测试应用（至少分配 8G 内存），因此为整个 OpenShift Local 的虚机提供了 20vCore + 48GB 内存 + 250GB 硬盘。
  • 运行 RHOAI 的硬件环境是否需要有 GPU 取决于在其上运行的 ML 模型是否强制需要。如有需要，可在配有 GPU 资源的 OpenShift 上为运行的 ML 声明分配 GPU。但如无强制需要和声明，ML 模型可在 CPU 上运行。由于本文意为演示 RHOAI，所以 OpenShift 运行环境没有配 GPU，ML 直接运行在 CPU 上。

用 RHOAI Operator 安装环境

  1. 在 OpenShift 的 OperatorHub 中找到并使用默认配置安装 Red Hat OpenShift AI Operator。
  2. 进入安装好的 Red Hat OpenShift AI Operator，在 redhat-ods-operator 项目中使用默认配置创建一个 Data Science Cluster 实例。
  3. 完成后会在 OpenShift 中创建以下 4 个项目：redhat-ods-applications、redhat-ods-monitoring、redhat-ods-operator、 redhat-notebooks。安装完后对应的项目中部署的资源如下图：
    在这里插入图片描述
  4. 从 OpenShift 控制台的菜单中进入 Red Hat OpenShift AI。
    在这里插入图片描述
  5. 登录后即可看到如下图的 OpenShift AI 的控制台。
    在这里插入图片描述

安装 OpenShift Pipeline（可选）

如果需要使用上图的 Data Science Pipelines 功能，请根据《OpenShift 4 Tekton (1) - OpenShift Pipeline入门-安装Pipeline Operator》一文安装 OpenShift Pipeline。

创建 Jupyter Notebook 运行环境

  1. 点击上图的 Jupyter 的 Launch application 进入Start a notebook server 页面，
  2. 在 Start a notebook server 页面中选中 TensorFlow 2023.2(该环境支持运行 CUDA、Python 和 TensorFlow)，Container Size 选择 Small。说明：如果 OpenShift 已经配置好 NVDIA GPU，则在下图 Acclelrator 的下拉框中得以显示，否则不会显示 Acclelrator。
    在这里插入图片描述
  3. 点击 Start Server 按钮后会出现 Starting server 窗口显示创建环境的进度。由于这个过程会下载相应的 Image，所以需要等一段时间。完成后会显示下图：
    在这里插入图片描述
  4. 点击上图的 Open in new tab 后会出现 Jupyter 页面。
    在这里插入图片描述

运行 Jupyter Notebook

  1. 点击上图 Git 图标，然后再选择 Clone a Repository。
    在这里插入图片描述

  2. 在弹出的 Clone a repo 窗口中提供 https://github.com/rh-aiservices-bu/licence-plate-workshop.git，然后点击 Clone。完成 Clone 后可以在 Jupyter 中看到如下图的 license-plate-workshop 应用的文件和目录。
    在这里插入图片描述

  3. 依次打开开头为 01 到 04 的 Jupyter 文件，然后点击 Start the selected the cells and advance 按钮逐步执行。
    在这里插入图片描述
    注意1：运行 02_Licence-plate-recognition.ipynb 第一行的时候会遇到下图的错误提示。可以根据提示，将 keras==2.11.0 改为 keras==2.13.1 即可。
    在这里插入图片描述
    注意2：在 03_LPR_run_application.ipynb 中引用了 requirements.txt 文件，可以按下文修改 requirements.txt 文件引用的依赖环境的版本。

Flask==2.3.2
gunicorn==20.1.0
opencv-python-headless==4.7.0.72
keras==2.13.1
tensorflow==2.13.1
scikit-learn==1.2.2
h5py==3.8.0
protobuf==3.20.3
  1. 在完成下一节 “部署运行 AI/ML 应用” 后再打开开头 05 的 Jupyter 文件。先将 my_image 和 my_route 改为 car.jpg 和应用的路由地址。
    在这里插入图片描述
    其中 car.jpg 为下图：
    在这里插入图片描述
  2. 然后运行即可看到从 car.jpg 文件中识别的车牌。
    在这里插入图片描述

部署运行 AI/ML 应用

  1. 在 OpenShift 的 “开发者” 视图中，创建 ai-app 项目。
  2. 进入“添加”，再进入 Git 仓库。
  3. 在 Git Repo URL 中提供 https://github.com/rh-aiservices-bu/licence-plate-workshop.git。
  4. 为“构建器镜像”选择“3.9-ubi8”。
  5. 将“应用程序名称”设为 licence-plate-app，“名称”设为 licence-plate。
  6. 在 “显示高级路由选项” 里去掉 “安全路由” 选项。
  7. 最后点击 “创建”。
  8. OpenShift 会创建一个 “构建” 来生成该 ML 应用的镜像，然后再部署生成的 ML 应用镜像。
    在这里插入图片描述
  9. 在完成部署后，可以通过上图的 “路由” 打开 ML 应用页面，会显示下图运行状态。
    在这里插入图片描述
  10. 最后可继续完成上一节的第 4 步，运行 05 文件，从客户端调用应用。

参考

https://redhatquickcourses.github.io/rhods-intro/rhods-intro/1.33/index.html
https://redhatquickcourses.github.io/rhods-admin/rhods-admin/1.33/index.html
https://ai-on-openshift.io/getting-started/openshift-data-science
https://redhat-scholars.github.io/rhods-lp-workshop
https://redhat-scholars.github.io/cloudnative-tutorials/openshift-data-science-object-detection.html
https://cloud.redhat.com/blog/scaling-model-serving-with-red-hat-openshift-data-science
https://developers.redhat.com/learn/openshift-data-science
https://developers.redhat.com/learn/openshift-data-science/configure-jupyter-notebook-use-gpus-aiml-modeling
https://myopenshiftblog.com/installing-openshift-data-science-ods-in-self-managed-environment
https://medium.com/@contact.av.rh/unleashing-the-full-potential-of-rhods-for-model-fine-tuning-and-inferencing-99a67b65e74e
https://access.redhat.com/documentation/en-us/red_hat_openshift_ai_self-managed/2.5/html/working_on_data_science_projects/serving-large-language-models_serving-large-language-models#about-the-single-model-serving-platform_serving-large-language-models

dawnsky.liu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
OpenShift AI - 管理和使用 OpenShift AI 运行环境
多恩斯基的博客
12-19 987
说明：本文已经在 OpenShift 4.14 + RHODS 2.50 的环境中验证。
在OpenShift平台上验证NVIDIA DGX系统的分布式多节点自动驾驶AI训练
吴建明wujianming_110117
11-23 433
在OpenShift平台上验证NVIDIA DGX系统的分布式多节点自动驾驶AI训练 自动驾驶汽车的深度神经网络（DNN）开发是一项艰巨的工作。本文验证了DGX多节点，多GPU，分布式训练在DXC机器人驱动环境中运行。 还使用了一个机器人学习平台来驱动深度学习（11.3）的工作负载。目前，OpenShift 3.11已部署在许多大型GPU加速的自动驾驶（AD）开发和测试环境中。这里显示的方法同样适用于新的OpenShift版本，并且可以转移到其他基于OpenShift的集群中。 DXC Robotic Dr
本地离线部署Ai大模型的三种方案，含安装教程！
最新发布
专注于分享人工智能精品资源：Ai副业项目、Ai效率神器！
05-26 3330
在GPU下运行：docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama。：虽然初期的硬件投资较高，但长期使用本地部署可能比持续支付云服务的使用费用更为经济，特别是在处理大量数据或频繁使用时。本地处理可以避免这些问题，提高处理效率。
OpenShift AI - 部署静态物体识别应用
多恩斯基的博客
01-11 1154
说明：本文已经在 OpenShift 4.14 + RHODS 2.5.0 的环境中验证说明：请先根据《》一文完成 OpenShift AI 环境的安装。注意：如无特殊说明，和 OpenShift AI 相关的 Blog 均无需 GPU。
OPENSHIFT-280-3-创建项目
拙能胜巧
12-15 1338
1.oc new-project chicago --description="This is EX280 project on OpenShift v3"创建一个新项目并附加描述信息。按照同样的方法尝试再创建4个项目。 [student@workstation ~]$ oc new-project chicago --description="This is EX280 project on ...
OPENSHIFT-5-控制资源访问-管理项目和账户
拙能胜巧
11-09 431
1.首先检查机器并确认环境正常。登陆到master节点root用户。创建user1用户。创建user2用户。退出登陆。 2.登陆OCP。删除一般用户创建项目的功能。 3.user1登陆OCP。创建test项目，无法创建。 4.使用管理员登陆。创建项目1。创建项目2。 5.使用项目1，为user1赋予管理员权限。为user2赋予编辑权限。使用项目2，为user2赋予编辑权限。 6.使用us...
openshift简介
qq_34123420的博客
12-14 3237
openshift 简介 架构 简介 Openshift是一个开源容器云平台，是一个基于主流的容器技术Docker和K8s构建的云平台。Openshift底层以Docker作为容器引擎驱动，以K8s作为容器编排引擎组件，并提供了开发语言，中间件，DevOps自动化流程工具和web console用户界面等元素，提供了一套完整的基于容器的应用云平台 架构 自底而上包括几个层次：基础架构层，容器引擎层...
train-ai-with-django-swagger-jwt：使用Django REST Framework + Celery + Swagger + JWT训练AI（Keras + Tensorflow）来防御应用程序-部署到Kubernetes和OpenShift Container Platform
02-05
我们将Keras和TensorFlow作为AI训练的核心库，并将整个应用部署到Kubernetes和OpenShift Container Platform上，以实现高度可扩展性和容错性。 首先，Django REST Framework（DRF）是Python Web开发中的一个强大...
Red Hat OpenShift AI 的介绍.docx
04-22
Red Hat OpenShift AI 的介绍.docx
DevOps_with_OpenShift.pdf_devops_
09-30
10. **OpenShift与其他技术的集成**：探讨OpenShift如何与微服务架构、Serverless、AI/ML等现代技术结合，以提升企业IT能力。 通过学习和实践《DevOps与OpenShift》，读者不仅可以掌握DevOps的理念和方法，还能深入...
利用 OpenShift 和 Kubernetes CI 平台公开提供的数据为开发人员 开发AI 工具_python_代码_下载
07-03
通过利用 OpenShift 和 Kubernetes CI 平台公开提供的数据为开发人员开发 AI 工具。 AIOps 是支持任何开放混合云基础架构的关键组件。随着我们操作的系统变得更大、更复杂，智能监控工具和响应代理将成为必需品。...
混合云： AWS 服务与 OpenShift 的集成 文档
11-13
2018 红帽论坛，超过500位客户亲临现场。演讲人 AWS .
ansible-ai-management:Ansible Galaxy角色，用于辅助安装程序管理
05-23
完成后，它应具有部署辅助服务（使用Podman或OpenShift）以及管理OCP群集的部署所需的一切。 TDLR： 在以下剧本中可以找到如何运行这些原子剧本的好例子： ansible-playbook -i inventory/jinkit.yml 00-...
OpenShift简介（二）
热门推荐
justlpf的专栏
08-30 1万+
参考文章: OpenShift简介_虹科云科技的博客-CSDN博客_openshift架构详解openshift是红帽的云开发平台即服务（PaaS），底层以Docker作为容器引擎驱动，以k8s作为容器编排引擎组件，openshift提供了开发语言、中间件、自动化流程工具及界面等元素，提供了一套完整的基于容器的应用云平台。OKD是 Kubernetes 的一个发行版，针对持续应用程序开发和多租户部署进行了优化。OKD 还充当上游代码库，红帽 OpenShift Online和红帽 OpenShift 容器平
第八章：AI大模型的部署与优化8.2 模型部署策略8.2.1 部署环境与平台选择
禅与计算机程序设计艺术
01-30 670
1. 背景介绍 随着人工智能技术的快速发展，越来越多的企业和研究机构开始关注AI大模型的部署与优化。在实际应用中，如何选择合适的部署环境和平台对于模型的性能和效果至关重要。本文将从部署环境与平台选择的角度，探讨AI大模型的部署策略，帮助读者更好地理解和应用这些技术。 2. 核心概念与联系
AI模型边缘端部署全流程二(工具篇)
weixin_44438120的博客
11-02 682
搞AI模型的大部分都是从pycharm或者其他python的IDE入坑的，因此在跑程序的时候用断点调试非常的得心应手。而且断点调试利于追踪数据流也非常的适合用以问题分析。然而在边缘端部署的时候就很难再像使用pycharm一样进行远程的断点调试了。归根结底是因为边缘端不能进行代码编译只能跑应用程序。因此这就引申到了如何在远程端(我常用的是Windows)进行边缘端部署的应用程序的断点调试。
【玩转AI】高效在本地部署Auto-GPT服务，轻松玩转AI创作（也可以先体验一下，不用token也可以用）
IT里的交易员-博客
04-23 2686
在使用Auto-GPT之前，可以先体验下AgentGPT此项目基于Auto-GPT构建，输入目的即可看到系统自动运行，并展示结果。AutoGPT和其它 AI 程序的不同之处在于，其专注于在无需人工干预的情况下生成提示和自动执行多步骤任务。它还具有扫描互联网或在用户计算机上执行命令以获取信息的能力，这使其有别于可能仅依赖于预先存在的数据集的其他人工智能程序。
OpenShift AI - 部署动态物体识别应用
多恩斯基的博客
02-07 908
说明：本文已经在 OpenShift 4.15 + RHODS 2.7.0 的环境中验证说明：请先完成《》一文的内容。注意：如无特殊说明，和 OpenShift AI 相关的 Blog 均无需 GPU。
openshift internal-registry 切换 sc
05-25
要在 OpenShift 中切换内部注册表的 StorageClass（SC），可以遵循以下步骤： 1. 查看当前内部注册表的 StorageClass： ``` oc get cm image-registry-config -n openshift-image-registry -ojsonpath='{.data.storage}' ``` 2. 在输出中找到当前使用的 StorageClass 的名称，例如 `default`. 3. 创建一个新的 StorageClass，例如 `new-sc`, 并设置适当的参数（例如 storageClassName、provisioner、parameters 等）。 4. 更新内部注册表的配置以使用新的 StorageClass： ``` oc patch configs.imageregistry.operator.openshift.io/cluster -n openshift-image-registry --type merge --patch '{"spec":{"storage":{"pvc": {"claim": {"storageClassName": "new-sc"}}}}}' ``` 5. 验证配置是否已更新： ``` oc get cm image-registry-config -n openshift-image-registry -ojsonpath='{.data.storage}' ``` 在输出中，应该看到新的 StorageClass 的名称。现在内部注册表将使用新的 StorageClass 来创建持久卷声明（PVC）。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值