![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kubeflow
文章平均质量分 80
皮皮冰燃
故障诊断、信号分析、大数据处理
展开
-
kubeflow-13-Pipelines SDK介绍
The Kubeflow Pipelines SDK includes the following packages:1 kfp.compilerkfp.compiler includes classes and methods for building Docker container images for yourpipeline components. Methods in this package include, but are not limitedto, the following:1.原创 2022-05-01 20:42:09 · 1432 阅读 · 0 评论 -
kubeflow-12-Artifact Store简介
跟踪和管理机器学习工作流中的元数据。临时换源pip install --upgrade --default-timeout=100000 numpy -i https://pypi.tuna.tsinghua.edu.cn/simplekubeflow-metadata安装时依赖最新的tensorflow版本。#pip install tensorflow-2.4.1-cp36-cp36m-manylinux2010_x86_64.whl#pip install kubeflow-metadat原创 2022-05-01 20:41:16 · 1108 阅读 · 0 评论 -
kubeflow-11-持久化存储的操作VolumeOp
1 kfp.dsl.VolumeOpclass VolumeOp(kfp.dsl._resource_op.ResourceOp)Represents an op which will be translated into a resource template which will be creating a PVC.表示将转换为资源模板的op,该模板将创建PVC。参数:(1)resource_name:必须 A desired name for the PVC which will be cr原创 2021-03-02 18:03:57 · 1152 阅读 · 0 评论 -
kubeflow-10-批量删除已完成的Job
#kubectl get pods -n kubeflowimport osres = os.popen('/usr/bin/kubectl get pods --all-namespaces') # 类型fileres_str = res.read() # 类型strres_list = res_str.split("\n") # 根据换行符切分for re in res_list: if "Completed" in re or "Error" in re: s原创 2021-03-02 11:00:13 · 450 阅读 · 0 评论 -
kubeflow-9-轻量级python组件的生成
kubeflow-3-pipeline的component和构建方法1 轻量级python组件Lightweight python components do not require you to build a new container image for every code change. They’re intended to use for fast iteration in notebook environment.轻量级python组件不需要为每次代码更改构建新的容器映像。它们用于笔记原创 2021-02-26 17:46:43 · 359 阅读 · 0 评论 -
kubeflow-8-pipeline中的数据传递
Argo Workflows是一个开源的容器本地工作流引擎,用于在kubernetes上协调运行作业。Argo Workflows是基于kubernetes CRD实现的功能:(1)定义工作流,其中工作流中的每一个步骤都是一个容器(2)将多个步骤工作流建模成一系列的任务,或者使用有向无环图(DAG)捕获任务间的依赖关系(3)使用kubernetes上的Argo Workflows可以在短时间内轻松操作大量计算密集型作业(4)不需要配置复杂的软件开发产品就可以在kubernetes本地环境中运行CI原创 2021-02-25 16:40:51 · 1423 阅读 · 1 评论 -
kubeflow-7-pipeline操作mnist应用
假设现在你想写一个机器学习的 pipeline,大概抽象成三个步骤。读取数据 -> 进行训练 -> 保存模型要构建完整的 pipeline,需要先考虑构建每个步骤 component 的问题。构建 pipeline 可以有几种方式,区别在于是否将 Python SDK 的代码嵌入到业务代码里。因为如果你本来就写好了一个 training 的程序,那么这时候就可以直接利用 Docker 镜像,将业务代码封装成一个镜像,无需侵入。另一种方法就是边写 training 程序的时候边把 SDK 中原创 2021-02-14 22:06:22 · 1017 阅读 · 7 评论 -
kubeflow-6-jupyter notebook的使用
在kubeflow中使用notebook servers功能本质是起一个jupyter lab容器,在容器中运行一个jupyter的服务。notebook服务名称,默认是不能重复的。notebook服务镜像可以选择已有的镜像,也可以使用包含自己需要python环境的个性化镜像。工作空间在容器中的默认挂载地址为/home/jovyan,但实际上它的文件都是存放在local-path-provisioner定义目录下各自的pv中。默认情况下,工作空间的内容会永久保存。你可以个人使用一个工作空间也可以与别人共原创 2021-02-04 13:41:20 · 1255 阅读 · 0 评论 -
kubeflow-5-安装1.0.2版本
1 版本兼容性kubeflow与kubernetes的版本兼容性。2 环境准备(1)安装kubernetes(2)安装本地存储的pv和pvc安装local-path-storageclass# docker pull rancher/local-path-provisioner:v0.0.11# docker pull registry.cn-hangzhou.aliyuncs.com/rancher/local-path-provisioner:v0.0.11# docker tag原创 2021-01-31 14:11:57 · 468 阅读 · 0 评论 -
kubeflow-4-所需镜像和常用命令
1 kubeflow1.02镜像#tar -xzvf kustomizefile.tar.gz -C your102/目录kustomize下有44个文件夹。(1)add-anonymous-user-filter镜像数量0,无需下载镜像(2)api-serviceimage: gcr.io/ml-pipeline/api-servergcr.io/ml-pipeline/api-server:0.2.5(3)applicationgcr.io/kubeflow-images-publ原创 2021-01-31 13:42:07 · 698 阅读 · 0 评论 -
kubeflow-3-安装dex1.0.2版本
duikubernetes的版本有要求V1.15.510.23.241.142 myuse210.23.241.97 myuse11 安装kubernetes1.1 安装kubelet和kubeadm和kubectl和docker需求1:kubeadm,初始化集群、管理集群等,版本1.15.5需求2:kubelet,用于接收api-server指令,对Pod生命周期进行管理,版本1.15.5需求3:kubectl,集群命令行管理工具,版本为1.15.5需求4:docker-ce,原创 2021-01-26 11:18:31 · 963 阅读 · 0 评论 -
kubeflow-2-pipeline的介绍和应用案例
1 概述Kubeflow中默认提供的几个Pipeline都要基于GCP Google的云平台,但是希望在自己的集群部署,所以根据官网,总结了一些构建Pipeline的流程。首先,数据科学家本身就是在提数据,训练,保存模型,部署模型几个重要环节中工作,Pipeline提供了一个很友好的UI来给数据科学家来定义整个过程,而且整个过程是运行在K8S集群上的。这对于一些对资源利用率有要求的公司,统一一层K8S来服务在线的应用和这些机器学习,还是很不错的。通过定义这个Pipeline,就可以定义环环相扣的机器学原创 2021-01-31 14:13:08 · 2374 阅读 · 3 评论 -
kubeflow-1-pipeline的component和构建方法
1 Creating components from existing application codeThis section describes how to create a component and a pipeline outside your Python application, by creating components from existing containerized applications. This technique is useful when you have al原创 2021-01-31 14:13:34 · 1258 阅读 · 0 评论