![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kubeflow
文章平均质量分 81
死亡之翼归来
行走世间,都是怪物。
展开
-
Kubeflow pipeline构建workflow流程解析
对kubeflow workflow的构建流程做解析原创 2024-05-12 21:59:21 · 374 阅读 · 0 评论 -
Kubeflow Artifact Store简介
artifact作为结果信息展示的工具,主要服务于kubeflow notebook server和kubeflow pipelines,现结合artifact的应用作介绍。Metadatakubeflow artifact store最早称之为metadata store,它的定位是记录和管理kubeflow机器学习工作流中的元数据。想要记录工程中的metadata,你需要使用专用的Metadata SDK,在python中使用pip安装即可:pip install kubeflow-metada原创 2020-10-30 20:39:42 · 1538 阅读 · 2 评论 -
使用kubeflow调参工具Katib
调参工具的工作原理是:将深度学习的训练、实验过程以kubeflow任务的形式发布,多次实验迭代会有多个任务发布;目前Katib能支持一些主流算法框架,如tensorflow、mxnet、pytorch、xgboost等。目前Katib调参功能细化为:超参数调节和神经网络结构搜索,开发者可以在kubeflow ui中实现配置和发布调参任务。Hyperparameter Tuning如下图所示,开发人员在ui中设置调参配置有两种方式:对k8s比较熟练的人员可以选择yaml文件配置;不熟练的人员可以选择原创 2020-10-30 20:30:48 · 1684 阅读 · 0 评论 -
使用Kubeflow pipelines
pipelines简介pipelines是一个机器学习工作流的抽象概念,这个工作流可以小到函数的过程、也可以大到机器学习从数据加载、变换、清洗、特征构建、模型训练等多个环节。在kubeflow中,该组件能以ui界面的方式记录、交互、反馈实验、任务和每一次运行。pipelines各流程组件构建成功后,会依据事先定义好的组件依赖关系构建DAG(有向无环图)。在pipelines构建各流程组件前,需要将对应流程的业务代码打包成docker镜像文件(kubeflow中运行业务代码均以容器的方式实现)业务代原创 2020-10-28 09:50:47 · 2690 阅读 · 11 评论 -
pipelines sdk简介
pipeline sdk是使用python配合kubeflow pipelines功能的工具包,文档在此进行了简单搬运,如果有想了解更多可以阅读原始文档:https://www.bookstack.cn/read/kubeflow-1.0-en/dc127d6c8622b832.md此外,为了简化用户使用kubeflow pipelines功能,对常用api做了使用封装。常用api简介将一个用dsl.pipeline装饰的工作流方法,编译成一个k8s任务.yaml配置的压缩文件:Compiler.原创 2020-10-28 09:49:30 · 939 阅读 · 3 评论 -
使用Kubeflow notebook servers
kubeflow中起notebook服务在kubeflow中使用notebook servers功能本质是起一个jupyter lab(当然,你可以选择其他jupyter的其他衍生产品)容器,在容器中起一个jupyter的服务。所以在kubeflow中构建自己的notebook服务,你只需要按照如下步骤即可:第一步:在ui界面中找到notebook servers的子界面第二步:新建个人notebook服务第三步:配置notebook服务notebook服务名称,默认是不能重复的。n原创 2020-10-28 09:48:09 · 1299 阅读 · 3 评论 -
安装kubeflow
此处为安装kubeflow 1.0.2版本的教程,其他版本仅作为参考。准备工作如果没有配置docker访问外网代理,可以参考离线安装docker配置代理部分如果没有安装kubernetes集群,可以参考离线使用kubeadm安装kubernetes集群下载需要的资源1.从https://github.com/kubeflow/kfctl/releases/下载v1.0.2版本对应的kfctl二进制文件:解压安装包并添加到执行路径:tar -xvf kfctl_v1.0.2-0-ga47628原创 2020-07-24 21:43:29 · 2873 阅读 · 29 评论