k8s 部署 kubeflow(v1.1.0 )全过程

简述

Kubeflow是的机器学习工具包。Kubeflow是运行在K8S之上的一套技术栈,这套技术栈包含了很多组件,组件之间的关系比较松散,我们可以配合起来用,也可以单独用其中的一部分。在这里插入图片描述
在这里暂不对 Kubeflow 的各个租金进行赘述,我们简单了解一下机器学习的简单流程。

当我们开发和部署ML(MachineLearning)系统时,我们需要评估 ML 工作流各个阶段的输出,并在必要时对模型和参数进行更改,以确保模型不断产生所需的结果,这是一个反复的过程,通常包括几个流程:

  1. 确定 ML 系统研究的问题并对其收集数据。
  2. 选择对应的 ML 算法并且对其编码。
  3. 试验这些数据和训练模型
  4. 调整模型
    在这里插入图片描述

kubeflow支持的 ML 的框架有: Chainer、MPI、MXNet、PyTorch、TensorFlow
Kubeflow依靠开源编程系统TensorFlow来构建机器学习模型。它的软件库使用张量几何结构,以有状态的数据流图这种形式来表示数据之间的线性关系。它将硬件平台抽取出来,让模型可以在CPU(中央处理单元)、GPU(图形处理单元)或TPU(张量处理单元)上运行。

Kubeflow有三个核心组件
TFJob, Operator 和 Controller:
作为Kubernetes的扩展,来简化分布式TensorFlow工作负载的部署。 通过Operator,Kubeflow能够自动化的配置 master服务器,工作服务器和参数化服务器配置。 TFJob可用来部署工作负载。

部署

建议使用云服务器,自己的服务器可能带不动整个部署。
这里使用官方文档的下载方式:kubeflow下载

环境准备

1. 下载 kfctl 包

可能需

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值