Koordinator 支持 K8s 与 YARN 混部，小红书在离线混部实践分享

背景介绍

Koordinator 是一个开源项目，基于阿里巴巴在容器调度领域多年累积的经验孵化诞生，目前已经支持了 K8s 生态内的在离线混部，然而在 K8s 生态外，仍有相当数量的用户会将大数据任务运行在 Apache Hadoop YARN[1]这类资源管理系统中。虽然目前一些计算引擎提供了 K8s operator，将任务接入到了 K8s 生态，但不可否认的是，目前 YARN 生态依然保持一定的活跃度，典型的例子是包括阿里云在内的一系列主流云厂商仍然提供类似 E-MapReduce[2]的产品，支持用户将大数据作业提交到 YARN 上运行，这点从产品的受欢迎程度上可见一斑。

小红书是 Koordinator 社区的活跃成员，为了进一步丰富 Koordinator 支持的在离线混部场景，社区会同来自阿里云、小红书、蚂蚁金服的开发者们共同启动了 Hadoop YARN 与 K8s 混部项目，支持将超卖的 Batch 资源提供给 Hadoop YARN 使用，进一步提升集群资源的使用效率，该项目目前已经在小红书生产环境正式投入使用。

技术原理

总体原则

在此之前，业界已经有关于 K8s 与 YARN 混部的一些内部实践，不过受限于落地场景，大部分的实现方式都对 YARN 系统本身做了相当多的侵入式改造，在运维和迭代上对普通用户来说不够友好。为了让更多用户享受到社区的开源技术红利，Koordinato