本文介绍了Presto原生的多 Coordinator 功能，旨在解决单 Coordinator 集群扩展性和单点故障的问题。通过资源管理器组件，coordinator 可以在 worker 池中横向扩展，实现资源的全局视图。资源管理器与 coordinator 的心跳交互确保了集群的资源管理和查询执行的高效进行。
背景
Presto 的架构最初只支持一个 coordinator 和多个 workers。多年来，这种方法一直很有效，但也带来了一些新挑战。
•使用单个 coordinator，集群可以可靠地扩展到一定数量的 worker。但是运行复杂、多阶段查询的大集群可能会使供应不足的 coordinator 不堪重负，因此需要升级硬件来支持工作负载的增加。•单个 coordinator 存在单点故障的风险。
为了克服这些挑战，Facebook 提出了一个新的设计：一个分解的协调器（disaggregated coordinator），允许 coordinator 在单个 workers pool 中横向扩展。
架构
如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop
disaggregated coordinator 方案在新组件资源管理器（resource
最低0.47元/天 解锁文章
扫一扫
565
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
