中间件XL
这个作者很懒,什么都没留下…
展开
-
分布式调度引擎 elastic-job3 源码分析 (一) 概述
分布式调度引擎 elastic-job3 源码分析(二) 核心服务 TBD分布式调度引擎 elastic-job3 源码分析(三) 功能服务 TBD1. 背景调度引擎是关键的基础设施,不但是定时执行任务,更是大规模分布式任务引擎,分布式并行处理平台,管理计算节点集群,提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务,对调度引擎高吞吐,高并发的要求也快速增长,需构建一个无中心,管理大集群,健壮分片容错的任务调度任务平台,支撑业务发展。同时,分布式调度引擎也是 datax,可观测-性..原创 2022-02-23 09:29:42 · 1064 阅读 · 0 评论 -
分布式调度引擎 elastic-job3 源码分析 (二) 作业模型和注册
1. 背景调度引擎是关键的基础设施,不但是定时执行任务,更是大规模分布式任务引擎,分布式并行处理平台,管理计算节点集群,提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务,对调度引擎高吞吐,高并发的要求也快速增长,需构建一个无中心,管理大集群,健壮分片容错的任务调度任务平台,支撑业务发展。同时,分布式调度引擎也是 datax,可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术2. 参考芋道源码 作业调度中间件 Elastic-Job 源码解析合集_...原创 2022-02-23 12:06:00 · 1183 阅读 · 0 评论 -
分布式调度引擎 elastic-job3 源码分析 (三) - 作业执行
1. 背景调度引擎是关键的基础设施,不但是定时执行任务,更是大规模分布式任务引擎,分布式并行处理平台,管理计算节点集群,提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务,对调度引擎高吞吐,高并发的要求也快速增长,需构建一个无中心,管理大集群,健壮分片容错的任务调度任务平台,支撑业务发展。同时,分布式调度引擎也是 datax,可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术2. 参考芋道源码作业调度中间件 Elastic-Job 源码解析合集_芋道源码-原创 2022-02-23 13:56:58 · 708 阅读 · 0 评论 -
分布式调度引擎 elastic-job3 源码分析 (四) 核心服务 I
1. 背景调度引擎是关键的基础设施,不但是定时执行任务,更是大规模分布式任务引擎,分布式并行处理平台,管理计算节点集群,提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务,对调度引擎高吞吐,高并发的要求也快速增长,需构建一个无中心,管理大集群,健壮分片容错的任务调度任务平台,支撑业务发展。同时,分布式调度引擎也是 datax,可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术2. 参考芋道源码作业调度中间件 Elastic-Job 源码解析合集_芋道源码-原创 2022-02-23 14:53:58 · 1155 阅读 · 0 评论 -
分布式调度引擎elastic-job3源码分析(五)-核心服务II
1. 背景调度引擎是关键的基础设施,不但是定时执行任务,更是大规模分布式任务引擎,分布式并行处理平台,管理计算节点集群,提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务,对调度引擎高吞吐,高并发的要求也快速增长,需构建一个无中心,管理大集群,健壮分片容错的任务调度任务平台,支撑业务发展。同时,分布式调度引擎也是datax,可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术2. 参考芋道源码 https://blog.csdn.net/X5fnncxzq4原创 2022-02-24 22:10:49 · 725 阅读 · 0 评论 -
分布式调度引擎elastic-job3源码分析(六)-失效转移
背景调度引擎是关键的基础设施,不但是定时执行任务,更是大规模分布式任务引擎,分布式并行处理平台,管理计算节点集群,提供高吞吐的可伸缩的数据处理能力。公司日益增长的业务,对调度引擎高吞吐,高并发的要求也快速增长,需构建一个无中心,管理大集群,健壮分片容错的任务调度任务平台,支撑业务发展。同时,分布式调度引擎也是datax,可观测-性能指标组件(sentinel dashboard)分布式改造的核心技术参考芋道源码 https://blog.csdn.net/X5fnncxzq4/artic原创 2022-02-24 22:33:01 · 1066 阅读 · 0 评论 -
分布式调度引擎 elastic-job3 源码分析 (七)- 总结与规划
7 总结和规划elastic-job3问题,整改方案及规划7.1作业执行完整调度系统最主要是完整高效地执行作业(分片),elastic-job分3类作业分片,正常分片,失效转移分片,错过执行分片,之前分析,elastic-job会丢分片,3个丢失点:1. missfired分片,作业执行常规调起和失效转移并行执行,而quartz线程只有1,执行分片会转成missfired分片,但分片逻辑并没有处理missfired分片,丢失解决方案,分片加上missfired分片2. 失效转移分两类原创 2022-03-02 14:40:44 · 232 阅读 · 0 评论 -
分布式时间槽elastic timeslot架构设计
调度引擎是关键的基础设施,不但是定时执行任务,更是大规模分布式任务引擎,分布式并行处理平台,管理计算节点集群,提供高吞吐的可伸缩的数据处理能力。同时,分布式调度引擎也是,分布式改造的核心技术根据场景,调度引擎分为分布式定时任务,处理大规模数据任务;分布式时间槽,处理大量任务本文介绍的架构设计,分布式特性依赖《分布式服务支撑平台》时间轮是由时间槽组成的环形队列,时间槽内存放作业链表,秒针如时钟秒针一样,一个时间间隔走过一个时间槽,执行时间槽内任务。.........原创 2022-08-11 11:27:57 · 520 阅读 · 0 评论 -
分布式 dataX 详细 (落地) 设计
分布式 DataX 基于 datax 打造的语义分分布式 ETL 平台。Datax 提供 reader-framework-writer 框架,方便开发两种异构数据源数据同步,但开源的 datax 缺少分布式特性,本文介绍基于elastic 平台和改造分布式 datax 详细(落地)设计。原创 2022-11-15 11:53:54 · 1001 阅读 · 1 评论