- 博客(7)
- 收藏
- 关注
RSS订阅原创 Kubeflow Artifact Store简介
artifact作为结果信息展示的工具，主要服务于kubeflow notebook server和kubeflow pipelines，现结合artifact的应用作介绍。Metadatakubeflow artifact store最早称之为metadata store，它的定位是记录和管理kubeflow机器学习工作流中的元数据。想要记录工程中的metadata，你需要使用专用的Metadata SDK，在python中使用pip安装即可:pip install kubeflow-metada
2020-10-30 20:39:42
1580
2
原创 使用kubeflow调参工具Katib
调参工具的工作原理是：将深度学习的训练、实验过程以kubeflow任务的形式发布，多次实验迭代会有多个任务发布；目前Katib能支持一些主流算法框架，如tensorflow、mxnet、pytorch、xgboost等。目前Katib调参功能细化为：超参数调节和神经网络结构搜索，开发者可以在kubeflow ui中实现配置和发布调参任务。Hyperparameter Tuning如下图所示，开发人员在ui中设置调参配置有两种方式：对k8s比较熟练的人员可以选择yaml文件配置；不熟练的人员可以选择
2020-10-30 20:30:48
1792
原创 使用Kubeflow pipelines
pipelines简介pipelines是一个机器学习工作流的抽象概念，这个工作流可以小到函数的过程、也可以大到机器学习从数据加载、变换、清洗、特征构建、模型训练等多个环节。在kubeflow中，该组件能以ui界面的方式记录、交互、反馈实验、任务和每一次运行。pipelines各流程组件构建成功后，会依据事先定义好的组件依赖关系构建DAG（有向无环图）。在pipelines构建各流程组件前，需要将对应流程的业务代码打包成docker镜像文件（kubeflow中运行业务代码均以容器的方式实现）业务代
2020-10-28 09:50:47
2812
11
原创 pipelines sdk简介
pipeline sdk是使用python配合kubeflow pipelines功能的工具包，文档在此进行了简单搬运，如果有想了解更多可以阅读原始文档：https://www.bookstack.cn/read/kubeflow-1.0-en/dc127d6c8622b832.md此外，为了简化用户使用kubeflow pipelines功能，对常用api做了使用封装。常用api简介将一个用dsl.pipeline装饰的工作流方法，编译成一个k8s任务.yaml配置的压缩文件:Compiler.
2020-10-28 09:49:30
982
3
原创 使用Kubeflow notebook servers
kubeflow中起notebook服务在kubeflow中使用notebook servers功能本质是起一个jupyter lab（当然，你可以选择其他jupyter的其他衍生产品）容器，在容器中起一个jupyter的服务。所以在kubeflow中构建自己的notebook服务，你只需要按照如下步骤即可：第一步：在ui界面中找到notebook servers的子界面第二步：新建个人notebook服务第三步：配置notebook服务notebook服务名称，默认是不能重复的。n
2020-10-28 09:48:09
1365
3
原创 构建docker镜像基本教程
构建自定义kubeflow notebook镜像构建notebook镜像的基本要求，是在镜像的python环境中安装jupyter和notebook 的工具包。下面我以tensorflow/tensorflow:1.12.0-gpu-py3官方的基础镜像为例，构建用户自定义notebook镜像。第一步：下载基础镜像在公司办公网络的环境下，下载基础镜像会比较花时间，可以把下载基础镜像的工作放在晚上。基础镜像作为构建个性化镜像的基础，可以复用。接下来我们的操作是在基础镜像的基础进行的。第二步：构建镜
2020-10-28 09:45:51
473
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人