Kubeflow安装及代码架构解读

参考网址

Installing Kubeflow | Kubeflow

安装方式选用

官方讲述了两种Kubeflow的安装方式,一种是使用打包发行版本,谷歌云、AWS等厂商的客户可以考虑此方式进行安装使用,应该非常方便。

本文主要讲使用manifest(清单) 的方式进行Kubeflow的安装。

怎么使用manifest

从github上拉取仓库 GitHub - kubeflow/manifests: A repository for Kustomize manifests

然后照着这个仓库的 readme.md 一步步进行操作就可以了。

 建议使用"Install individual compontent"这种方式 ,因为我们在安装的时候大概率会出现镜像拉取不下来等问题。 一个个组件进行安装,方便我们排查解决问题。

怎么理解manifest 仓库

manifest仓库旨在帮助我们使用 Kustomize(kubectl的内置子命令)的方式,完成kubernetes的各种组件的快速安装。会定期同步各组件仓库的信息,在apps目录下保存着各种组件用于Kustomize安装所需的yaml文件包。

怎么修改Kubeflow组件

以 “Jupyter Web App”为例,我们可以在kustomization.yaml中看到完成该组件所需使用镜像。

明显,当我们想对某个组件进行自定义修改的时候。我们需要做的 就是找生成该镜像的代码仓库,根椐需要对代码进行修改,然后重新打包镜像,再重新进行组件安装。

 至于怎么找到相应的代码仓库,只能说在 Kubeflow · GitHub 下半猜半推的找吧。最后根据里面Makefile文件的内容就可以确定了。

------------------------------------------------------ 各功能模板解读 --------------------------------------------------

鉴权服务

 对应的Pod:属于“auth”命名空间下

 对应的代码:笔者暂时还没有找到

Centraldashboard(控制面板)

 对应的Pod: 属于“kubeflow”命名空间下

 对应的代码:kubeflow/components/centraldashboard at master · kubeflow/kubeflow · GitHub

如下图,Centraldashboard为一个node.js项目

Crud-web-apps(进行notebook、pvc等资源管理的web服务)

对应的Pod:

  对应的代码:kubeflow/components/crud-web-apps at master · kubeflow/kubeflow · GitHub

如下图,crud-web-apps为多个Python(flask)项目和Node.js项目

Crud-web-apps/ jupyter

功能:

可实现notebook的创建、删除等操作的web服务,提供可视化操作界面。

本质:

传递及组合参数,调用kubernetes-client(Python)操纵k8s资源,可参考:GitHub - kubernetes-client/python: Official Python client library for kubernetes

调用顺序

以浏览器请求获取Notebook列表为例,后端函数的调用顺序如下:

jupyter/backend/apps/common/routes/get.py/get_notebooks(namespace) --> common/backend/kubeflow/kubeflow/crud_backend/api/notebook.py/list_notebooks(namespace) --> common/backend/kubeflow/kubeflow/crud_backend/api/apis.py/custom_api

notebooks 资源定义

notebooks是由 kubeflow/components/notebook-controller项目,为K8S集群添加的自定义资源。

(未完待续)

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kubeflow是一个开源机器学习工具包,它可以方便地在Kubernetes集群上管理和部署机器学习工作负载。以下是在Kubernetes集群上安装和部署Kubeflow的基本步骤: 1. 安装Kubernetes集群 首先需要在你的环境中安装一个Kubernetes集群,可以使用各种工具来安装,如kubeadm、kops、k3s等。 2. 安装Kubeflow CLI Kubeflow CLI是一个命令行工具,它可以方便地在Kubernetes集群上安装和管理Kubeflow。可以通过以下命令来安装Kubeflow CLI: ``` $ export KUBEFLOW_VERSION=1.4.0 $ export PLATFORM=linux-anvil $ curl https://raw.githubusercontent.com/kubeflow/kfctl/v${KUBEFLOW_VERSION}/scripts/download.sh | bash $ sudo install -m 755 kfctl_${KUBEFLOW_VERSION}_${PLATFORM} /usr/local/bin/kfctl ``` 3. 配置Kubeflow安装Kubeflow之前,需要先创建一个配置文件,用于指定Kubeflow的一些参数和选项。可以使用以下命令来创建一个默认的配置文件: ``` $ export KF_NAME=my-kubeflow $ export BASE_DIR=/opt $ export KF_DIR=${BASE_DIR}/${KF_NAME} $ export CONFIG_URI=https://raw.githubusercontent.com/kubeflow/manifests/v1.4-branch/kfdef/kfctl_k8s_istio.v1.4.0.yaml $ mkdir -p ${KF_DIR} $ cd ${KF_DIR} $ kfctl init ${KF_NAME} --config=${CONFIG_URI} -V ``` 在上面的命令中,`KF_NAME`指定了Kubeflow的名称,`BASE_DIR`指定了Kubeflow安装目录,`CONFIG_URI`指定了Kubeflow的配置文件地址。 4. 安装Kubeflow 完成配置后,可以使用以下命令来安装Kubeflow: ``` $ kfctl apply -V -f ${KF_NAME}/kfctl_k8s_istio.v1.4.0.yaml ``` 这个命令会在Kubernetes集群上启动所有需要的服务和组件,包括Kubeflow的核心组件,如Jupyter Notebook、TensorFlow Serving、Katib等。 5. 访问Kubeflow安装完成后,可以通过以下命令来获取Kubeflow的URL: ``` $ kubectl -n istio-system get ingress gateway -o jsonpath='{.spec.rules[0].host}' ``` 将输出的URL复制到浏览器中,就可以访问Kubeflow的Web界面了。 以上是在Kubernetes集群上安装和部署Kubeflow的基本步骤。需要注意的是,Kubeflow安装和配置可能会因为不同的环境和需求而有所不同,需要根据实际情况进行调整和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值