OpenShift AI - 在 Jupyter Notebook 中使用 Elyra 执行 AI 处理流水线

已于 2024-02-28 21:10:08 修改
阅读量1.1k 收藏 22
点赞数 15
文章标签： openshift jupyter 人工智能 AI
于 2024-01-08 09:09:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43902588/article/details/135161739
版权

《OpenShift / RHEL / DevSecOps 汇总目录》
说明：本文已经在 OpenShift 4.15 + RHODS 2.7.0 的环境中验证

说明：请先根据《OpenShift AI - 管理和使用 OpenShift AI 运行环境》一文完成 MinIO 的安装。
注意：如无特殊说明，和 OpenShift AI 相关的 Blog 均无需 GPU。

什么是 Elyra

Elyra 是 JupyterLab Notebook 的扩展插件。它提供了一个可视化管道编辑器，用于从 Python 和 R 脚本以及 Jupyter Notebook 构建管道，从而有助于简化将多个文件转换为批处理作业或工作流的过程。

Elyra 的管道由节点组成，节点之间相互连接，以定义执行依赖关系。为了组装管道，Elyra 的可视化管道编辑器支持将文件拖放到画布上并定义其依赖关系。在组装好管道并准备运行后，Elyra 编辑器会生成 Tekton YAML 定义，并将其提交给 OpenShift Pipeline 执行。

准备 Elyra 管道运行环境

导入定制镜像

  1. 用管理员登录 OpenShift AI 控制台，然后进入 Settings > Notebook image settings。
  2. 在 Notebook image settings 页面点击 Import new image 按钮，然后在 Import notebook image 窗口按以下配置导入镜像。
    Repository: quay.io/mmurakam/workbenches:fraud-detection-v1.0.1
    Name: Fraud detection workbench

准备模型

  1. 在 MinIO 中创建名为 fraud-detection 的 Bucket。
  2. 从 https://github.com/mamurak/os-mlops-artefacts/tree/fraud-detection-model-v0.1/models/fraud-detection 和 https://github.com/mamurak/os-mlops-artefacts/tree/fraud-detection-model-v0.1/data/fraud-detection 分别下载 model-latest.onnx 和 live-data.csv 文件，然后上传到 MinIO 的 fraud-detection 路径下。
    在这里插入图片描述

配置 Workbench、 Data Connection 和 Cluster storage

  1. 使用一般用户在 OpenShift AI 控制台中创建名为 pipelines-example 的 Data Science Project。
  2. 在 pipelines-example 项目下按照以下配置创建名为 fraud-detection-workbench 的 Workbench。
    将 Name 设置 fraud-detection-workbench
    在 Notebook image 中为 Notebook image 选择 Fraud detection workbench
    在 Deployment size 中为 Container size 选择 Small
  3. 分别为 fraud-detection 应用和运行的 Pipeline 创建名为 fraud-detection 和 offline-scoring-data-volume 的 Cluster storage，都为 5 GB。
  4. 按照以下配置创建名为 fraud-detection 和 fraud-detection-pipeline 的 Data Connection，用来访问对象存储中的模型。
    Access key: minio
    Secret key: minio123
    Endpoint: http://minio-service.minio.svc.cluster.local:9000
    Bucket: fraud-detection
  5. 完成配置以后，pipelines-example 项目下的配置如下图：
    在这里插入图片描述

创建 Elyra Server 运行环境

配置和运行 Elyra 管道的生命周期需要一个 Elyra Server 环境，Elyra Serve 包含以下组件和功能：

  • 运行 Pipeline Server 的容器
  • 用来保存 Pipeline 定义和运行结果的 MariaDB
  • 用来定时运行 Pipeline 的调度器
  • A Persistent Agent to record the set of containers that executed as well as their inputs and outputs.
  • 用来记录容器集执行的输入和输出的持久代理。

配置 Elyra Server 的过程如下：

  1. 在 pipelines-example 项目的页面中点击 Configure a pipeline server。
    在这里插入图片描述
  2. 在 Configure pipeline server 窗口中使用以下配置为 pipeline server 配置一个 Object storage connection。
    Access key: minio
    Secret key: minio123
    Endpoint: http://minio-service.minio.svc.cluster.local:9000
    Bucket: fraud-detection-pipelines
  3. 在创建完 Pipeline server 后，可以在 OpenShift 开发者视图中看到部署的相关资源如下图。
    在这里插入图片描述

配置 Elyra 管道

  1. 打开 fraud-detection-workbench，然后在 Jupyter Notebook 中导入 https://github.com/RedHatQuickCourses/rhods-qc-apps.git。
  2. 进入 rhods-qc-apps/5.pipelines/elyra 目录，然后在 Jupyter Notebook 的 Launcher 中点击 Elyra 区域的 Pipeline Editor，然后将创建的文件改名为 offline-scoring.pipeline。
    在这里插入图片描述
  3. 打开的 offline-scoring.pipeline 文件，然后将 rhods-qc-apps/5.pipelines/elyra 目录中的 5 个 py 文件拖拽到 offline-scoring.pipeline 文件的编辑区，然后按下图顺序将其连接起来。
    在这里插入图片描述
  4. 进入左侧工具条的 Runtime Images，此时界面如下图。然后点击 “+” 来创建新的运行时镜像。
    在这里插入图片描述
  5. 在 Add new Runtime Image runtime image 界面中按以下配置创建，然后 Save & Close。
    Display Name: fraud detection runtime
    Image Name: quay.io/mmurakam/runtimes:fraud-detection-v0.2.0
    在这里插入图片描述
  6. 打开页面右上方的 Open Panel 图标，然后在右滑区域进入 PIPELINE PROPERTIES。
  7. 在 Generic Node Defaults 区域将 Runtime Image 设为 fraud detection runtime。
  8. 增加 4 个 Kubernetes Secrets。将每个 Secret 的 Environment Variable 和 Secret Key 设为相同内容，分别为以下 4 组，并且将所有 Secret Name 设为 aws-connection-fraud-detection。
    AWS_ACCESS_KEY_ID
    AWS_SECRET_ACCESS_KEY
    AWS_S3_ENDPOINT
    AWS_S3_BUCKET
    在这里插入图片描述
  9. 在 Pipeline 中选择 model_loading.py 节点，此时界面右侧区域会切换至 NODE PROPERTIES，然后增加一个 Output Files 并设为 model.onnx。
  10. 在 Pipeline 中依次选择 data_ingrestion.py、preprocessing.py、scoring.py、results_upload.py节点，然后在 NODE PROPERTIES 中按以下配置为每个节点增加一个 Data Volume。
    Mount Path: /data
    Persistent Volume Claim Name: offline-scoring-data-volume
    在这里插入图片描述

运行Elyra 管道

  1. 在 offline-scoring.pipeline 界面的工具条中点击 Run pipeline 图标运行管道。
    在这里插入图片描述
  2. 在提示窗口中接受下图的 Runtime Configuration，然后点击 OK。
    在这里插入图片描述
    注意：如果 Runtime Configuration 中没有 Data Science Pipeline，可先 Stop 这个 Workbench，然后 Edit 这个 Workbench，随便增加一个 Environment variable，最后再次运行 Workbench 后可在 Runtimes 中看到所用的 Data Science Pipeline。
    在这里插入图片描述
  3. 管道运行后，在下面成功提示的提示框点击 OK。注意：如果管道没有运行起来，可以先关闭再重启 Workbench。
    在这里插入图片描述
  4. 在 OpenShift AI 控制台进入 Data Science Pipelines > Runs，可以看到该管道的运行的详细情况，如下图。
    在这里插入图片描述
  5. 另外也可在 OpenShift 开发者视图中的管道中看到 OpenShift Pipeline 的运行情况。注意：下图中名为 pipeline/runid 的标签和上图的 Run ID 有相同的内容。
    在这里插入图片描述
  6. 在 MinIO 中查看 fraud-detection 和 fraud-detection-pipelines 存储桶生成的内容，分别是模型和管道生成的数据。
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

参考

https://redhatquickcourses.github.io/rhods-pipelines
https://rh-aiservices-bu.github.io/fraud-detection/fraud-detection-workshop

dawnsky.liu
关注
使用Elyra和Kubeflow管道创建笔记本管道
weixin_26752765的博客
09-13 1067
As a data scientist you are likely using Jupyter notebooks extensively to perform machine learning workflow tasks, such as data exploration, data processing, and model training, evaluation and tuning....
Jupyter Notebooks 的 Elyra 扩展
李明的博客
05-02 417
Jupyter Notebooks 的 Elyra 扩展 为了进一步致力于开源，IBM宣布推出Elyra，这是 Jupyter Notebook 的一组以开源 AI 为中心的扩展，更具体地说是新的 JupyterLab 用户界面。 Elyra 建立在 Jupyter Notebooks 的基础上，是为数据科学家、机器学习工程师和 AI 开发人员提供的 de facto工具，Elyra 提...
Elyra：基于AI技术的JupyterLab实用扩展集-python
06-18
Elyra：基于AI技术的JupyterLab实用扩展集 Elyra Elyra 是 JupyterLab Notebooks 的一组以 AI 为中心的扩展。 Elyra 目前包括： Notebook Pipelines 可视化编辑器 能够将笔记本作为批处理作业运行 混合运行时支持编辑器中的 Python 脚本执行功能 可重用代码片段（实验性） 基于 git 集成的笔记本版本控制 使用自动生成的目录的笔记本导航 可重用配置对于运行时 Elyra 入门指南包含有关这些功能的更多详细信息。 试用 Elyra 您可以使用 My Binder 服务试用一些 Elyra 功能。 单击下面的链接，在沙盒环境中试用 Elyra，无需安装任何东西。 安装 Elyra 可以通过 PyPi 安装： 先决条件：NodeJS 12+ Python 3.X 可选：Anaconda JupyterLab 支持 Elyra 0.10.0 及以下支持 JupyterLab 1.x Elyra 0.11.0-rc0 及以上版本支持 JupyterLab 2.x via PyPi: pip install ely
Elyra 开源项目教程
最新发布
gitblog_00640的博客
08-13 427
Elyra 开源项目教程 elyraElyra extends JupyterLab with an AI centric approach.项目地址:https://gitcode.com/gh_mirrors/el/elyra 1. 项目目录结构及介绍 Elyra 的目录结构是典型的Python开发项目布局，主要包括以下几个关键部分： docs: 存放项目的文档资料，包括Markdown格...
AI——jupyter使用
weixin_42789698的博客
02-21 369
【代码】AI——jupyter使用。
【AI工具】jupyter notebook和jupyterlab对比和安装
旭日跑马踏云飞的专栏
06-14 2080
对jupyterlab和jupyter notebook进行简单对比，并进行安装部署。
elyra：Elyra以AI为中心的方法扩展了JupyterLab笔记本
02-02
爱丽拉 Elyra是JupyterLab笔记本的一组以AI为中心的扩展。 Elyra当前包含以下功能： 基于 《 包含有关这些功能的更多详细信息。 试试伊莱拉 使用活页夹 您可以使用服务试用Elyra的某些功能。 单击下面的链接以在沙盒环境中尝试Elyra，而无需安装任何程序。 （最新的稳定版本-有关最新更新，请参阅） （开发版本-由于及时构建，预计图像加载时间更长） 使用Docker 您还可以通过运行其中一个映像来尝试Elyra： elyra/elyra:latest已安装最新版本。 elyra/elyra:xyz已安装特定版本。 每次将更改提交到master分支时， elyra/elyra:dev都会自动重建。 以下命令在干净的环境中启动最新的开发版本： docker run -it -p 8888:8888 elyra/elyra:dev jupyter lab --debug 要在Docker容器中提供一个包含笔记本（例如$ {HOME} / opensource / jupyter-notebooks /）的本地目录，可以使用类似于以下内容的mount命
workshop-notebook:基本的Jupyter笔记本，用于学习Spark和OpenShift
05-14
在Jupyter Notebook中使用PySpark，用户可以编写Python代码来操作Spark，这使得数据科学家和分析师能够方便地结合Spark的强大功能和Python的易用性。 Jupyter Notebook是一个交互式的、基于Web的环境，支持多种编程...
openshift-jee-sample:将在openshift环境中部署的示例应用程序
04-01
openshift-jee-sample 将在openshift环境中部署的示例应用程序 注意：要使用maven构建该存储库，必须指定“ -Popenshift”，例如“ mvn clean package -Popenshift”
openshift4-rhv-upi：支持使用Baremetal UPI在RHV上自动安装OpenShift 4的Ansible手册和文档
02-02
使用Baremetal UPI在RHV上配置OpenShift 4.4 该存储库包含一组手册，以帮助促进OpenShift 4.4在RHV上的部署。 背景 该存储库中的剧本/脚本应该可以帮助您自动化RHV上的绝大多数OpenShift 4.4 UPI部署。 请务必阅读...
openshift-java-client, OpenShift REST API的Java客户端.zip
09-18
openshift-java-client, OpenShift REST API的Java客户端 OpenShift客户端 OpenShift REST API的Java客户端。 它几乎提供了 rhc-* 命令行 工具( 。创建/重命名域，创建/销毁应用程序，列出应用程序，列出可用墨盒，...
openshift-diy-spring-boot-sample:openshift-diy-spring-boot-sample
06-21
可以在以下位置找到 OpenShift diy墨盒文档： 先决条件 在开始构建应用程序之前，我们需要安装一个 OpenShift 免费帐户和客户端工具。 第 1 步：创建 DIY 应用程序 要使用客户端工具创建应用程序，请键入以下命令： ...
【Jupyter Lab】elyra插件安装问题解决
weixin_43897476的博客
10-27 1965
安装了anaconda后，运行Anaconda Prompt ，输入 conda install -c conda-forge jupyterlab 安装好了jupyter lab，然后安装elyra插件，安装语句： pip install --upgrade elyra && jupyter lab build 可能遇到下面这个错误 An error occured. ValueError: Please install Node.js and npm before continuin
Jupyter AI：通过聊天生成代码、修改错误，支持各种大模型
08-04 1229
“Jupyter Lab 的GitHub Copilot、Cursor：免费开源的智能开发插件Jupyter AI。”01—人工智能方面开发的朋友对Jupyter 应该不陌生，Jupyter官方昨天推出了Jupyter AI开源子项目，能连接各大模型，聊天就可以生产代码，添加注释，修改错误，阅读和学习本地文件。类似Idea的AI插件GitHub Copilot、Cursor。‍‍‍‍‍使用者可...
python-jupyter实现OpenAi语音对话聊天
dfBeautifulLive的博客
11-09 5536
我们需要和ai对话，我们输入文本交给ai返回对应的回答这个功能在predict函数里，然后界面的对话框里我们输入文字回车就会调用我们的predict函数，我们会对返回数据进行封装处理，封装成，成对的对话信息元组列表（数据格式后面会详细的说明，所有看不懂的地方都放心的往后看），并返回到界面上。process_audio函数：接收录音机录音的回馈，然后调用transcribe转换文本，然后将文本给到predict函数，这样就给我们对应的对话结果，放入对应的元组数组里返回给界面。
（数据科学学习手札95）elyra——jupyter lab平台最强插件集
qq_38512642的博客
09-19 812
1 简介# 　　jupyter lab是我最喜欢的编辑器，在过往的文章中也给大家介绍过很多相关资源和实用插件，但本文要给大家介绍的jupyter lab插件elyra，绝对是我使用过的最强大的jupyter lab插件没有之一，因为它的核心功能就是帮助我们解决数据分析工作中非常重要的问题——搭建工作流。 图1 2 利用elyra搭建工作流# 　　在安装elyra插件集之前，请确保你的jupyter lab版本在2.0及以上，并且已经安装好了nodejs也就是所有jupyter lab拓展插件都需
探索Elyra：AI工作流编排的新篇章
gitblog_00084的博客
04-25 475
探索Elyra：AI工作流编排的新篇章 elyraElyra extends JupyterLab with an AI centric approach.项目地址:https://gitcode.com/gh_mirrors/el/elyra 是一个开源项目，由IBM的Elyra AI团队开发，它提供了一个直观的界面，用于管理和执行复杂的机器学习和数据分析工作流。通过Elyra，数据科学家和技...
AI开发效率倍增！让JupyterLab成为无所不能的开发神器
jakpopc的博客
07-21 683
Python开发到底应该用哪款开发工具？ Jupyter Notebook一定会是众多回答之一，它以交互式调试、支持富文本等特性使得它在教学、科学计算等方面备受欢迎。如果经常浏览GitHub都应该了解，Jupyter Notebook已经成为GitHub一大热门开发工具。 而伴随Jupyter Notebook同时会被提及的就是另外一款工具，JupyterLab，它被称为是下一代Jupyter Notebook。 它不仅继承了Jupyter Notebook的优点，还在Jupyter Notebook的基础
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值