SkyForm ECP的AIaaS平台支持Tensorflow、Mxnet、Caffe等多种深度学习框架，并引入HybridJob Controller和Gang Scheduler解决扩展性和资源管理问题。HybridJob Controller允许混合任务调度，Gang Scheduler确保以组为单位调度Pod，提高资源利用率。未来计划将涉及资源动态调整、多租户公平调度和对更多数据处理框架的支持。
1. 背景介绍
作者在之前的文章《在SkyForm ECP上运行深度学习框架》中介绍过深度学习框架运行在kubernetes上的优势，以及这种实践方式的基本架构。
社区中也出现了很多tensorflow on kubernetes的方案，比如jinja模板的方案（https://github.com/tensorflow/ecosystem/tree/master/kubernetes），以及后来的kubeflow（https://github.com/google/kubeflow）和Tensorflow/k8s（https://github.com/tensorflow/k8s），都是为了能够更好的把tensorflow运行在kubernetes上，简化手工搭建tensorflow集群时的繁琐工作。
其中Tensorflow/k8s用kubernetes的CRD定义新的资源类型TFJob，可以在TFJob中定义PS、Worker和TensorBoard的信息，方便创建一个分布式的tensorflow集群。
SkyForm ECP的AIaaS的方案和社区方案的一个简单对比如下：
|
Tensorflow/k8s |
kubeflow |
AiaaS方案 |
深度学习框架支持</ |
最低0.47元/天 解锁文章
2788
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
