开源Kubeflow：在Kubernetes上运行机器学习

作者 | 高策

来源 | 经授权转载自知乎

编辑 | Natalie

出处丨AI 前线

AI 前线导读： 这篇文章主要介绍了 Kubeflow 的使用以及未来的计划，面向人群为对在 Kubernetes 上运行机器学习负载感兴趣的同学。

问题背景

Kubernetes 本来是一个用来管理无状态应用的容器平台，但是在近两年，有越来越多的公司用它来运行各种各样的工作负载，尤其是机器学习炼丹。各种 AI 公司或者互联网公司的 AI 部门都会尝试在 Kubernetes 上运行 TensorFlow、Caffe、MXNet 等等分布式学习的任务，这为 Kubernetes 带来了新的挑战。

首先，分布式的机器学习任务一般会涉及参数服务器（以下称为 PS）和工作节点（以下成为 worker）两种不同的工作类型。而且不同领域的学习任务对 PS 和 worker 有不同的需求，这体现在 Kubernetes 中就是配置难的问题。以 TensorFlow 为例，TensorFlow 的分布式学习任务通常会启动多个 PS 和多个 worker，而且在 TensorFlow 提供的最佳实践中，每个 worker 和 PS 要求传入不同的命令行参数。举例说明：

# On ps0.example.com:
$ python trainer.py \
 --ps_hosts=ps0.example.com:2222,ps1.example.com:2222 \
 --worker_hosts=worker0.example.com:2222,worker1.example.com:2222 \
 --job_name=ps --task_index=0
# On ps1.example.com:
$ python trainer.py \
 --ps_hosts=ps0.example.com:2222,ps1.example.com:2222 \
 --worker_hosts=worker0.example.com:2222,worker1.example.com:2222 \
 --job_name=ps --task_index=1
# On worker0.example.com:
$ python trainer.py \
 --ps_hosts=ps0.example.com:2222,ps1.example.com:2222 \
 --worker_hosts=worker0.example.com:2222,worker1.example.com:2222 \
 --job_name=worker --task_index=0
# On worker1.example.com:
$ python trainer.py \
 --ps_hosts=ps0.example.com:2222,ps1.example.com:2222 \
 --worker_hosts=worker0.example.com:2222,worker1.example.com:2222