HarderXin的专栏

努力做好自己,既然选择了,就风雨兼程!

elastic-job:分布式作业调度框架

        elastic-job是当当内部应用框架ddframedd-job的作业模块中分离出来的分布式弹性作业框架。去掉了dd-job中监控和ddframe接入规范部分。ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX

elastic-jobddframe关系见下图:

Elastic-job的主要包括以下功能:

1.定时任务:基于成熟的定时任务作业框架Quartz cron表达式执行定时任务。

2.作业注册中心:基于Zookeeper和其客户端Curator实现的全局作业注册控制中心。用于注册,控制和协调分布式作业执行。

3.作业分片:将一个任务分片成为多个小任务项在多服务器上同时执行。

4.弹性扩容缩容:运行中的作业服务器崩溃,或新增加n台作业服务器,作业框架将在下次作业执行前重新分片,不影响当前作业执行。

5.支持多种作业执行模式:支持OneOff(类似Quartz原生作业),Perpetual(类似TbSchedule作业)和SequencePerpetual(类似TbSchedulekafka的合并,但处理时维持分片顺序)三种作业模式。

6.失效转移:运行中的作业服务器崩溃不会导致重新分片,只会在下次作业启动时分片。启用失效转移功能可以在本次作业执行过程中,监测其他作业服务器空闲,抓取未完成的孤儿分片项执行。

7.运行时状态收集:监控作业运行时状态,统计最近一段时间处理的数据成功和失败数量,记录作业上次运行开始时间,结束时间和下次运行时间。

8.作业停止,恢复和禁用:用于操作作业启停,并可以禁止某作业运行(上线时常用)。

9.被错过执行的作业重触发:自动记录错过执行的作业,并在上次作业完成后自动触发。可参考Quartzmisfire

10.多线程快速处理数据:使用多线程处理抓取到的数据,提升吞吐量。

11.幂等性:重复作业任务项判定,不重复执行已运行的作业任务项。由于开启幂等性需要监听作业运行状态,对瞬时反复运行的作业对性能有较大影响。

12.容错处理:作业服务器与Zookeeper服务器通信失败则立即停止作业运行,防止作业注册中心将失效的分片分项配给其他作业服务器,而当前作业服务器仍在执行任务,导致重复执行。

13.Spring支持:支持spring容器,自定义命名空间,支持占位符。

14.运维平台:提供运维界面,可以管理作业和注册中心。

 系统使用:

1、elastic-job已经发布到中央仓库,可以在pom.xml文件中直接引入maven坐标

<elastic-job.version>1.1.0-SNAPSHOT</elastic-job.version>
<!-- 引入elastic-job核心模块 -->
<dependency>
	<groupId>com.dangdang</groupId>
	<artifactId>elastic-job-core</artifactId>
	<version>${elastic-job.version}</version>
</dependency>
<!-- 使用springframework自定义命名空间时引入 -->
<dependency>
	<groupId>com.dangdang</groupId>
	<artifactId>elastic-job-spring</artifactId>
	<version>${elastic-job.version}</version>
</dependency>


2、Spring配置:job-config.xmljob-config.properties

<beans xmlns="http://www.springframework.org/schema/beans"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
	xmlns:reg="http://www.dangdang.com/schema/ddframe/reg" xmlns:job="http://www.dangdang.com/schema/ddframe/job"
	xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
	xsi:schemaLocation="http://www.springframework.org/schema/beans 
                        http://www.springframework.org/schema/beans/spring-beans.xsd 
                        http://www.springframework.org/schema/context 
                        http://www.springframework.org/schema/context/spring-context.xsd 
                        http://www.dangdang.com/schema/ddframe/reg 
                        http://www.dangdang.com/schema/ddframe/reg/reg.xsd 
                        http://www.dangdang.com/schema/ddframe/job 
                        http://www.dangdang.com/schema/ddframe/job/job.xsd" >

<!--通过扫描实现Spring注入-->
<context:component-scan base-package="com.midea.gls.job" />
<!--通过placeholder实现占位符-->
<context:property-placeholder location="classpath*:/config/job-config.properties" />

<!--配置作业注册中心:zookeeper-->
<reg:zookeeper id="regCenter" serverLists="${job.serverLists}" namespace="${job.namespace}" baseSleepTimeMilliseconds="${job.baseSleepTimeMilliseconds}" maxSleepTimeMilliseconds="${job.maxSleepTimeMilliseconds}" maxRetries="${job.maxRetries}" nestedPort="${job.nestedPort}" nestedDataDir="${job.nestedDataDir}" />
<!--配置一个Job-->
<job:dataflow id="orderAnalysisJob" class="com.midea.gls.job.OrderAnalysisJob" regCenter="regCenter" 
		 		shardingTotalCount="${job.simpleJob.shardingTotalCount}" cron="${orderAnalysisJob.cron}" 
		 		shardingItemParameters="${job.simpleJob.shardingItemParameters}" 
		 		monitorExecution="${job.simpleJob.monitorExecution}" monitorPort="${job.simpleJob.monitorPort}" 
		 		failover="${job.simpleJob.failover}" description="${orderAnalysisJob.description}" 
		 		disabled="${orderAnalysisJob.disabled}" overwrite="${job.simpleJob.overwrite}" 
		 		concurrentDataProcessThreadCount="${job.dataflow.threadCount}" /> 


job-config.properties(参考)

#serverLists=localhost:4181
job.serverLists=${config.job.serverLists}
#serverLists=10.16.2.166:4080
#serverLists=127.0.0.1:2181
job.namespace=elasticjob-lms
job.baseSleepTimeMilliseconds=1000
job.maxSleepTimeMilliseconds=3000
job.maxRetries=3

job.nestedPort=-1
job.nestedDataDir=target/test_zk_data/
job.zookeeper.address=${config.job.zookeeper.address}

job.simpleJob.cron=1/0 * * * * ?
job.simpleJob.shardingTotalCount=1
job.simpleJob.shardingItemParameters=0=A
job.simpleJob.monitorExecution=false
job.simpleJob.failover=true
#只运行一次的作业示例
job.simpleJob.description=\u53ea\u8fd0\u884c\u4e00\u6b21\u7684\u4f5c\u4e1a\u793a\u4f8b
job.simpleJob.disabled=true
job.simpleJob.overwrite=true
job.simpleJob.monitorPort=9888

job.dataflow.threadCount=10

#测试job(1分钟)
testJob.description=\u7a7a\u8fd0\u5feb\u9012\u8ba2\u8231\u53d1\u9001\uff08DHL\uff09\uff081\u5206\u949f\uff09
testJob.cron=1/0 * * * * ?
testJob.disabled=true

3、java代码实现类

package com.midea.gls.job;

import java.util.List;

import org.springframework.stereotype.Component;

import com.dangdang.ddframe.job.api.JobExecutionMultipleShardingContext;
import com.dangdang.ddframe.job.plugin.job.type.dataflow.AbstractIndividualThroughputDataFlowElasticJob;
import com.midea.gls.entity.domain.GoOrder;

@Component
public class TestJob extends AbstractIndividualThroughputDataFlowElasticJob<GoOrder>{

	//逐条处理数据
	@Override
	public boolean processData(JobExecutionMultipleShardingContext shardingContext, GoOrder data) {
		return false;
	}
	
	//抓取数据
	@Override
	public List<GoOrder> fetchData(JobExecutionMultipleShardingContext shardingContext) {
		return null;
	}

	@Override
	public boolean isStreamingProcess() {
		return false;
	}

}


这样就实现了一个定时器的作业调度!

运维平台:
    elastic-job运维平台以war包形式提供,可自行部署到tomcat或jetty等支持servlet的web容器中。elastic-job-console.war可以通过编译源码或从maven中央仓库获取。

•登录

默认用户名和密码是root/root,可以通过修改conf\auth.properties文件修改默认登录用户名和密码。

•主要功能

登录安全控制

注册中心管理

作业维度状态查看

服务器维度状态查看

快捷修改作业设置

控制作业暂停和恢复运行

•设计理念

运维平台和elastic-job并无直接关系,是通过读取作业注册中心数据展现作业状态,或更新注册中心数据修改全局配置。

控制台只能控制作业本身是否运行,但不能控制作业进程的启停,因为控制台和作业本身服务器是完全分布式的,控制台并不能控制作业服务器。

•不支持项

添加作业。因为作业都是在首次运行时自动添加,使用运维平台添加作业并无必要。

停止作业。即使删除了Zookeeper信息也不能真正停止作业的运行,还会导致运行中的作业出问题。

删除作业服务器。由于直接删除服务器节点风险较大,暂时不考虑在运维平台增加此功能。

 主界面如下:

elastic-job开发指南及java中job类型定义见:
http://blog.csdn.net/harderxin/article/details/53436433

阅读更多
个人分类: 工作经历
想对作者说点什么? 我来说一句

分布式任务调度框架 集合

2015年07月08日 38.4MB 下载

没有更多推荐了,返回首页

不良信息举报

elastic-job:分布式作业调度框架

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭