构建 Kubeflow-任务自动化流程管理 前篇(一)

KubeFlow——机器学习流水线

一. 为何使用- kubeflow

• AI模型生产成本问题
  随着 AI 广泛使用在不同领域的业务中， 使商业模式发生改变——降低人力成本、提升自动化率就带来了商业价值。虽然业务价值持续增长，但企业对深度学习的投入也进入了冷静期，如何在有限人力成本的条件下，来最大化算法工程师的效率，成为企业、或是 AI 算法从业人员面临的问题；
  • 业务工作流程繁多： 数据标注/清洗、模型训练/验证/测试、跨平台的模型转换支持、产品级模型部署/交付.
  • 业务算法落地、迭代升级需要人工参与(业务重复做，不会给算法人员的个人能力带来提升，长期以来就会慢慢地失去行业竞争力).
  • 模型训练、部署都还会面临复杂的算法环境问题.
• Kubeflow 的优势

1. 借助 docker 和 Kubernetes 来管理复杂的深度学习软件环境问题
2. 将机器学习任务流程化、节点化（后续会详细介绍）
3. 调高业务作业流程的自动化率，避免流程化的工作重复做，可释放人力，让AI 算法人员能更专注在算法模型研发，而不是重复的业务迭代.

二. 快速搭建 kubeflow

• 本次演示计算机硬件环境： Ubuntu 18.04 / 2080Ti * 2
• 默认环境已经安装好——docker-ce/nvidia-docker/nvidia-driver
• 为了降低初学者的时间成本，建议使用 rancher 搭建 K8s 集群。（如果你已具备搭建K8s 集群能力，请直接跳转到第 2 节: kubeflow 安装 ）

1. 搭建 K8s 集群

rancher 安装

# 注意配置 nvidia-docker 为 docker 默认的runtime的同学使用 nvidia-docker run
docker run -d --restart=unless-stopped \
-v /var/lib/ranchers:/var/lib/rancher/ \
-p 8081:80 -p 8443:443 rancher/rancher:v2.4.6-rc1

• 待容器启动后，尝试浏览器打开页面: https://0.0.0.0:8443 ，初次登陆需要设置密码,设置完毕后登陆界面

快速搭建集群

• 登陆成功过后有以下界面显示，点击”添加集群“
  
• 选择自定义模式
  
• 选择 K8s 版本(kubeflow 有 K8 的兼容问题，建议选择 v1.5.12，这个很重要)，及其它插件.
• 
• 选择节点角色，拷贝脚本命令至终端为集群添加计算节点【之后就是等待，根据网络情况，等待的时间会有差异】
  
• 安装完成后，可看到如下页面：
• 

2. 安装 kubeflow-0.6