elastic-job
文章平均质量分 64
ai_xiangjuan
这个作者很懒,什么都没留下…
展开
-
elastic-job --介绍
1.elastic-job是什么 elastic-job是当当开发的基于qutarz以及zookeeper封装的作业调度工具,主要有两个大框架,一个是elastic-job lite另外一个是elastic-job cloud,其中qutarz是一个开源的作业调度工具,zookeeper是分布式调度工具,这两者结合搭建了elastic-job-lite,这是一个无中心节点的调度,而elastic-...原创 2018-10-08 22:40:26 · 294 阅读 · 0 评论 -
elastic-job--数据分片
数据分片的目的在于把一个任务分散到不同的机器上运行,既可以解决单机计算能力上限的问题,也能降低部分任务失败对整体系统的影响。elastic-job并不直接提供数据处理的功能,框架只会将分片项分配至各个运行中的作业服务器(其实是Job实例,部署在一台机器上的多个Job实例也能分片),开发者需要自行处理分片项与真实数据的对应关系。框架也预置了一些分片策略:平均分配算法策略,作业名哈希值奇偶数算法策略,...原创 2018-10-08 23:05:34 · 823 阅读 · 0 评论 -
elastic-job--作业类型
elastic-job提供了三种类型的作业: Simple类型作业 SimpleJob需要实现SimpleJob接口,意为简单实现,未经过任何封装,与quartz原生接口相似,比如示例代码中所使用的job。 Dataflow类型作业 Dataflow类型用于处理数据流,需实现DataflowJob接口。该接口提供2个方法可供覆盖,分别用于抓取(fetchData)和处理(processData)...原创 2018-10-10 21:01:20 · 1198 阅读 · 0 评论