助力成本优化，腾讯全场景在离线混部系统Caelus正式开源

导读 / Introduction

11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源全场景在离线混部系统Caelus。

Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发，旨在解决大数据资源缺口问题，通过Caelus在离线混部，扩充大数据任务可用资源，发挥空闲资源更大价值。在腾讯内部，Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务，平均提升30% 资源利用率，节省了上亿成本。

近年来，随着互联网业务的发展，大数据类任务的资源需求呈指数级增长，资源成本问题突出。但各大权威机构的调研数据显示行业目前在线资源利用率普遍很低，平均维持在15%左右，资源浪费严重。对此，业内一直在进行诸多探索，在线离线混部被认为是解决该问题的终极方案。

由于很多大数据任务具有实时性要求不高、运行时间较短、使用碎片资源等特点，而在线应用的资源使用通常具有潮汐的特点，因此大数据任务比较适合复用在线应用的空闲资源，但混部也面临诸多核心技术难题，具体包括：

1. 大部分混部系统只针对云原生场景，无法利用大量非容器化的在线空闲资源；
2. 部分混部方案要求大数据必须云原生化改造，增加了依赖条件；
3. 资源复用在粒度、灵活性、时间等方面策略都不够精细，导致利用率不高；
4. 缺乏比较好的干扰检测机制，导致