介绍一个Kubeflow 在国内镜像源的刚需工具

在 K8s 环境快速部署Kubeflow,轻松实现MLOPS

作为 AI 时代的 DevOps,MLOPS 助力于加速企业从数字化转型到大数据转型再到智能化转型的产业升级进程,为企业沉淀行业特有的 AI 模型、AI 应用提供工具链保证。随着 Kubernetes 的应用爆发,企业也积极投身建设基于 Kubernetes 的 AI 平台,充分利用 K8s 生态提供的资源管理、应用编排、运维监控能力。

然而,企业在直接使用流行的开源 MLOPS 软件如 Kubeflow[1] , MLflow[2] 等,通常需要消耗较大的调研、部署、运维、应用迁移、应用适配等成本。灵雀云 MLOPS 以及其开源版本 kubeflow-chart[3],致力于极大程度的降低企业应用 MLOPS 的成本,在 Kubeflow 的基础上,集成 MLFlow,SQLFlow, kfpdist,elyra 等工具,补充 Kubeflow 难以应用之处,构建完整的 MLOPS 开源解决方案。

关注云原生机器学习的朋友对 Kubeflow 必不会陌生。

Kubeflow 是基于容器和 Kubernetes 构建,提供面向机器学习业务的敏捷部署、开发、训练、发布和管理平台,通过集成开源生态中越来越多的项目,如 Jupyter, Knative, Seldon Core 等,搭建了机器学习应用从开发到上线到迭代的生命周期内的工具链,解决企业应用机器学习中遇到的和 DevOps 类似的工具链的困扰,因此,Kubeflow 也成为了当前云原生场景下主流的 MLOPS 平台。

然而,有了 Kubeflow,是不是在 Kubernetes 上一下子搞定机器学习、深度学习呢?事实并没有那么简单。据了解,很多企业对于 Kubeflow 调研和尝试也多以失败告终。Kubeflow 目前存在以下诸多问题导致企业直接使用 Kubeflow 应用 MLOPS 颇为困难:

  1. Kubeflow 部署复杂、困难

  2. Kubeflow 包含组件繁多,依赖复杂,运维排错耗费人力

  3. Kubeflow 许多功能易用性差,企业 AI 应用开发、迁移困难

  4. Kubeflow 没有中文支持

首先,部署 Kubeflow 完整平台,需要部署大量的依赖和组件。社区提供的安装方法为使用 Kustomize 命令,并使用仓库 https://github.com/kubeflow/manifests

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
Kubeflow一个开源机器学习工具包,它可以方便地在Kubernetes集群上管理和部署机器学习工作负载。以下是在Kubernetes集群上安装和部署Kubeflow的基本步骤: 1. 安装Kubernetes集群 首先要在你的环境中安装一个Kubernetes集群,可以使用各种工具来安装,如kubeadm、kops、k3s等。 2. 安装Kubeflow CLI Kubeflow CLI是一个命令行工具,它可以方便地在Kubernetes集群上安装和管理Kubeflow。可以通过以下命令来安装Kubeflow CLI: ``` $ export KUBEFLOW_VERSION=1.4.0 $ export PLATFORM=linux-anvil $ curl https://raw.githubusercontent.com/kubeflow/kfctl/v${KUBEFLOW_VERSION}/scripts/download.sh | bash $ sudo install -m 755 kfctl_${KUBEFLOW_VERSION}_${PLATFORM} /usr/local/bin/kfctl ``` 3. 配置Kubeflow 在安装Kubeflow之前,要先创建一个配置文件,用于指定Kubeflow的一些参数和选项。可以使用以下命令来创建一个默认的配置文件: ``` $ export KF_NAME=my-kubeflow $ export BASE_DIR=/opt $ export KF_DIR=${BASE_DIR}/${KF_NAME} $ export CONFIG_URI=https://raw.githubusercontent.com/kubeflow/manifests/v1.4-branch/kfdef/kfctl_k8s_istio.v1.4.0.yaml $ mkdir -p ${KF_DIR} $ cd ${KF_DIR} $ kfctl init ${KF_NAME} --config=${CONFIG_URI} -V ``` 在上面的命令中,`KF_NAME`指定了Kubeflow的名称,`BASE_DIR`指定了Kubeflow的安装目录,`CONFIG_URI`指定了Kubeflow的配置文件地址。 4. 安装Kubeflow 完成配置后,可以使用以下命令来安装Kubeflow: ``` $ kfctl apply -V -f ${KF_NAME}/kfctl_k8s_istio.v1.4.0.yaml ``` 这个命令会在Kubernetes集群上启动所有要的服务和组件,包括Kubeflow的核心组件,如Jupyter Notebook、TensorFlow Serving、Katib等。 5. 访问Kubeflow 在安装完成后,可以通过以下命令来获取Kubeflow的URL: ``` $ kubectl -n istio-system get ingress gateway -o jsonpath='{.spec.rules[0].host}' ``` 将输出的URL复制到浏览器中,就可以访问Kubeflow的Web界面了。 以上是在Kubernetes集群上安装和部署Kubeflow的基本步骤。要注意的是,Kubeflow的安装和配置可能会因为不同的环境和求而有所不同,要根据实际情况进行调整和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云原生技术社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值