简介
弹性组件集成有弹性需求的组件,为组件增加高弹性容量,规划集成datax,elastic-job,xxl-job,sentinel dashboard,dolphinscheduer,eventbridge
datax基于社区版,此前已对datax进行重构,增加其metrics exporter,分布式特性,分布式模型是基于启动的worker分配,固定的worker数量,如果分片少,浪费资源;分片多,资源不足,只有排队等待
弹性资源组件基于k8s的资源管理能力,动态申请资源,资源管理使用flink的声明式管理,集成组件声明需要资源数量,弹性资源组件的资源管理器先分片可用资源,若不足,计算并申请新的worker,worker启动注册资源,可用资源增加,资源管理器继续分配