elastic-job:分布式作业调度框架

原创 2016年12月02日 17:22:20

        elastic-job是当当内部应用框架ddframedd-job的作业模块中分离出来的分布式弹性作业框架。去掉了dd-job中监控和ddframe接入规范部分。ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX

elastic-jobddframe关系见下图:

Elastic-job的主要包括以下功能:

1.定时任务:基于成熟的定时任务作业框架Quartz cron表达式执行定时任务。

2.作业注册中心:基于Zookeeper和其客户端Curator实现的全局作业注册控制中心。用于注册,控制和协调分布式作业执行。

3.作业分片:将一个任务分片成为多个小任务项在多服务器上同时执行。

4.弹性扩容缩容:运行中的作业服务器崩溃,或新增加n台作业服务器,作业框架将在下次作业执行前重新分片,不影响当前作业执行。

5.支持多种作业执行模式:支持OneOff(类似Quartz原生作业),Perpetual(类似TbSchedule作业)和SequencePerpetual(类似TbSchedulekafka的合并,但处理时维持分片顺序)三种作业模式。

6.失效转移:运行中的作业服务器崩溃不会导致重新分片,只会在下次作业启动时分片。启用失效转移功能可以在本次作业执行过程中,监测其他作业服务器空闲,抓取未完成的孤儿分片项执行。

7.运行时状态收集:监控作业运行时状态,统计最近一段时间处理的数据成功和失败数量,记录作业上次运行开始时间,结束时间和下次运行时间。

8.作业停止,恢复和禁用:用于操作作业启停,并可以禁止某作业运行(上线时常用)。

9.被错过执行的作业重触发:自动记录错过执行的作业,并在上次作业完成后自动触发。可参考Quartzmisfire

10.多线程快速处理数据:使用多线程处理抓取到的数据,提升吞吐量。

11.幂等性:重复作业任务项判定,不重复执行已运行的作业任务项。由于开启幂等性需要监听作业运行状态,对瞬时反复运行的作业对性能有较大影响。

12.容错处理:作业服务器与Zookeeper服务器通信失败则立即停止作业运行,防止作业注册中心将失效的分片分项配给其他作业服务器,而当前作业服务器仍在执行任务,导致重复执行。

13.Spring支持:支持spring容器,自定义命名空间,支持占位符。

14.运维平台:提供运维界面,可以管理作业和注册中心。

 系统使用:

1、elastic-job已经发布到中央仓库,可以在pom.xml文件中直接引入maven坐标

<elastic-job.version>1.1.0-SNAPSHOT</elastic-job.version>
<!-- 引入elastic-job核心模块 -->
<dependency>
	<groupId>com.dangdang</groupId>
	<artifactId>elastic-job-core</artifactId>
	<version>${elastic-job.version}</version>
</dependency>
<!-- 使用springframework自定义命名空间时引入 -->
<dependency>
	<groupId>com.dangdang</groupId>
	<artifactId>elastic-job-spring</artifactId>
	<version>${elastic-job.version}</version>
</dependency>


2、Spring配置:job-config.xmljob-config.properties

<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
	xmlns:reg="http://www.dangdang.com/schema/ddframe/reg" xmlns:job="http://www.dangdang.com/schema/ddframe/job"
	xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
	xsi:schemaLocation="http://www.springframework.org/schema/beans 
                        http://www.springframework.org/schema/beans/spring-beans.xsd 
                        http://www.springframework.org/schema/context 
                        http://www.springframework.org/schema/context/spring-context.xsd 
                        http://www.dangdang.com/schema/ddframe/reg 
                        http://www.dangdang.com/schema/ddframe/reg/reg.xsd 
                        http://www.dangdang.com/schema/ddframe/job 
                        http://www.dangdang.com/schema/ddframe/job/job.xsd" >

<!--通过扫描实现Spring注入-->
<context:component-scan base-package="com.midea.gls.job" />
<!--通过placeholder实现占位符-->
<context:property-placeholder location="classpath*:/config/job-config.properties" />

<!--配置作业注册中心:zookeeper-->
<reg:zookeeper id="regCenter" serverLists="${job.serverLists}" namespace="${job.namespace}" baseSleepTimeMilliseconds="${job.baseSleepTimeMilliseconds}" maxSleepTimeMilliseconds="${job.maxSleepTimeMilliseconds}" maxRetries="${job.maxRetries}" nestedPort="${job.nestedPort}" nestedDataDir="${job.nestedDataDir}" />
<!--配置一个Job-->
<job:dataflow id="orderAnalysisJob" class="com.midea.gls.job.OrderAnalysisJob" regCenter="regCenter" 
		 		shardingTotalCount="${job.simpleJob.shardingTotalCount}" cron="${orderAnalysisJob.cron}" 
		 		shardingItemParameters="${job.simpleJob.shardingItemParameters}" 
		 		monitorExecution="${job.simpleJob.monitorExecution}" monitorPort="${job.simpleJob.monitorPort}" 
		 		failover="${job.simpleJob.failover}" description="${orderAnalysisJob.description}" 
		 		disabled="${orderAnalysisJob.disabled}" overwrite="${job.simpleJob.overwrite}" 
		 		concurrentDataProcessThreadCount="${job.dataflow.threadCount}" /> 


job-config.properties(参考)

#serverLists=localhost:4181
job.serverLists=${config.job.serverLists}
#serverLists=10.16.2.166:4080
#serverLists=127.0.0.1:2181
job.namespace=elasticjob-lms
job.baseSleepTimeMilliseconds=1000
job.maxSleepTimeMilliseconds=3000
job.maxRetries=3

job.nestedPort=-1
job.nestedDataDir=target/test_zk_data/
job.zookeeper.address=${config.job.zookeeper.address}

job.simpleJob.cron=1/0 * * * * ?
job.simpleJob.shardingTotalCount=1
job.simpleJob.shardingItemParameters=0=A
job.simpleJob.monitorExecution=false
job.simpleJob.failover=true
#只运行一次的作业示例
job.simpleJob.description=\u53ea\u8fd0\u884c\u4e00\u6b21\u7684\u4f5c\u4e1a\u793a\u4f8b
job.simpleJob.disabled=true
job.simpleJob.overwrite=true
job.simpleJob.monitorPort=9888

job.dataflow.threadCount=10

#测试job(1分钟)
testJob.description=\u7a7a\u8fd0\u5feb\u9012\u8ba2\u8231\u53d1\u9001\uff08DHL\uff09\uff081\u5206\u949f\uff09
testJob.cron=1/0 * * * * ?
testJob.disabled=true

3、java代码实现类

package com.midea.gls.job;

import java.util.List;

import org.springframework.stereotype.Component;

import com.dangdang.ddframe.job.api.JobExecutionMultipleShardingContext;
import com.dangdang.ddframe.job.plugin.job.type.dataflow.AbstractIndividualThroughputDataFlowElasticJob;
import com.midea.gls.entity.domain.GoOrder;

@Component
public class TestJob extends AbstractIndividualThroughputDataFlowElasticJob<GoOrder>{

	//逐条处理数据
	@Override
	public boolean processData(JobExecutionMultipleShardingContext shardingContext, GoOrder data) {
		return false;
	}
	
	//抓取数据
	@Override
	public List<GoOrder> fetchData(JobExecutionMultipleShardingContext shardingContext) {
		return null;
	}

	@Override
	public boolean isStreamingProcess() {
		return false;
	}

}


这样就实现了一个定时器的作业调度!

运维平台:
    elastic-job运维平台以war包形式提供,可自行部署到tomcat或jetty等支持servlet的web容器中。elastic-job-console.war可以通过编译源码或从maven中央仓库获取。

•登录

默认用户名和密码是root/root,可以通过修改conf\auth.properties文件修改默认登录用户名和密码。

•主要功能

登录安全控制

注册中心管理

作业维度状态查看

服务器维度状态查看

快捷修改作业设置

控制作业暂停和恢复运行

•设计理念

运维平台和elastic-job并无直接关系,是通过读取作业注册中心数据展现作业状态,或更新注册中心数据修改全局配置。

控制台只能控制作业本身是否运行,但不能控制作业进程的启停,因为控制台和作业本身服务器是完全分布式的,控制台并不能控制作业服务器。

•不支持项

添加作业。因为作业都是在首次运行时自动添加,使用运维平台添加作业并无必要。

停止作业。即使删除了Zookeeper信息也不能真正停止作业的运行,还会导致运行中的作业出问题。

删除作业服务器。由于直接删除服务器节点风险较大,暂时不考虑在运维平台增加此功能。

 主界面如下:

elastic-job开发指南及java中job类型定义见:
http://blog.csdn.net/harderxin/article/details/53436433

各种调度框架介绍

任务调度工具 Myriad Myriad Myriad把YARN和Mesos两者的优势结合起来。通过使用Myriad项目,让Mesos和YARN可以协作,你可以完成一个实时业务。数据分析可以在运...
  • qq_26562641
  • qq_26562641
  • 2017年03月01日 15:25
  • 4015

Quartz作业调度框架

Quartz的核心概念 :调度器、触发器、作业  调度器(Scheduler) Scheduler负责管理Quartz的运行环境,Quartz它是基于多线程架构的,它启动的时候会初始化一套线程,这...
  • demon_zero
  • demon_zero
  • 2014年12月02日 11:49
  • 667

作业调度-高性能作业调度-Quartz作业调度框架

【景行锐创  dev1组小白记录】 Quartz 是一个开源的作业调度框架,它完全由 Java 写成,并设计用于 J2SE 和 J2EE 应用中。它提供了巨大的灵活性而不牺牲简单性。你能够用它来...
  • u010817510
  • u010817510
  • 2017年08月13日 20:20
  • 118

Java 分布式作业流调度框架Hydra-Io

Java 分布式作业流调度框架Hydra-IoHydra 是由Java实现的作业流调度框架,它可以支持复杂作业流的调度。...
  • qq_38692223
  • qq_38692223
  • 2017年07月03日 16:55
  • 324

作业调度框架 Quartz 学习笔记(一) -- HelloWorld !!!

关于定时任务的操作方法,java语言本身具有 Timer 来解决,但Timer 作用起来不是特别的舒服,由于项目的需要,使用了Quartz 这个调度框架,现把学习过程记录下来,方便以后查阅. 本教程...
  • lnara
  • lnara
  • 2013年03月04日 11:35
  • 8643

clover分布式任务调度系统

1、clover分布式调度介绍 clover分布式任务调度是完全使用Java技术自主开发 特点如下: 1、防单点故障 2、job 可部署多台,但任务调度时,只有一台参执行。如果一台下线,...
  • stark_summer
  • stark_summer
  • 2015年02月03日 14:41
  • 45347

开源的作业调度框架 - Quartz.NET

Quartz.NET是一个开源的作业调度框架,是OpenSymphony 的 Quartz API的.NET移植,它用C#写成,可用于winform和asp.net应用中。它提供了巨大的灵活性而不牺牲...
  • jiangfei009003
  • jiangfei009003
  • 2015年07月21日 10:54
  • 927

Elastic-Job运维平台介绍

原文地址:http://dangdangdotcom.github.io/elastic-job/post/1.x/web_console/ 运维平台 elastic-job运维平台以...
  • tanga842428
  • tanga842428
  • 2016年10月22日 09:11
  • 4276

elastic-job监控平台搭建

elastic-job的监控平台搭建
  • a158123
  • a158123
  • 2017年10月23日 21:36
  • 348

分布式系统中的定时任务全解(三)

如何使用elastic-job以及elastic-job的深度解析。
  • BuquTianya
  • BuquTianya
  • 2016年06月19日 16:28
  • 7071
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:elastic-job:分布式作业调度框架
举报原因:
原因补充:

(最多只允许输入30个字)