开源工具Arena，数据科学家再也不用为Kubernetes犯难啦

摘要： 为什么要用Kubernetes去难为数据科学家呢？

2018年7月，阿里云将深度学习工具Arena贡献给了开源社区，数据科学家无需学习底层IT资源使用，即可在云端运行深度学习，一分钟内启动深度学习任务，十五分钟内创建异构计算集群。

为什么要有Arena这样的工具？

现在Kubernetres社区最流行的深度学习解决方案是KubeFlow，Arena是不是又重新造了个轮子？KubeFlow是基于Kubernetes构建的可组合，便携式, 可扩展的机器学习技术栈，支持实现从JupyterHub模型开发，TFJob模型训练到TF-serving，Seldon预测端到端的解决方案。但是KubeFlow需要用户精通Kubernetes，比如写一个TFJob的部署yaml文件，这对于机器学习平台最主要的使用者---数据科学家来说是非常有挑战的事情。

这与数据科学家的期望还有比较大的差距，数据科学家关心的是三件事：

1. 数据从哪里来
2. 如何运行机器学习的代码
3. 训练结果（模型和日志）如何查看

数据科学家编写一些简单的脚本，在桌面机上运行机器学习代码，这是他们熟悉和喜欢的工作方式。但是利用桌面机进行模型训练，又会遇到由于硬盘空间有限导致处理数据量不足，无法使用分布式训练导致计算力受限等问题。

为此我们开发了Arena，用一个命令行工具屏蔽所有底层资源、环境管理、任务调度和GPU调度分配的复杂性，它帮助数据科学家以一种简单熟悉的方式提交训练任务并且检查训练进展。数据科学家在调用Arena的时候可以指定数据来源，代码下载和是否使用TensorBoard查看训练效果。

Arena有