TB-schedule的使用

最新推荐文章于 2022-07-08 17:44:49 发布
最新推荐文章于 2022-07-08 17:44:49 发布
阅读量154 收藏
点赞数
原文链接：https://segmentfault.com/a/1190000012639693
版权

使用方法

图片描述

  • 任务名称：对应调度策略中的任务名称
  • 任务处理的SpringBean：对应处理机中的Bean名称
  • 心跳频率(秒)／假定服务死亡间隔(秒)：保持默认
  • 线程数：处理该任务的线程数，在没有划分多任务项的情况下，多线程是没有意义的，且线程数 大于任务项也是没有意义的。如果要开启多机多线程，必须对数据做任务项过滤
  • 处理模式:SLEEP（推荐）、NOSLEEP（单个线程处理完分配到的数据后，立刻会重新获取数据）
  • 每次获取数据量：子计时单元开始，线程会不断的去获取数据（eachFetchDataNum参数），直到获取不到数据子计时单元才结束
  • 每次执行数量：执行机实现IScheduleTaskDealMulti接口时使用，handleTask方法参数arg0的数量（taskTypeInfo中executeNumber）
  • 没有数据时休眠时长(秒)：
    未设置开始时间：当获取不到数据时，休眠此时间，再执行获取数据操作
    设置开始时间，未设置结束时间：无效（实际上子计时单元即将停止了）
    设置开始时间，设置结束时间：当获取不到数据时，休眠此时间，再执行获取数据操作
  • 每次处理完数据后休眠时间(秒)：子计时单元内，两次获取数据操作间隔（对于总会返回数据的任务，使用这个配置来控制间隔）
  • 执行开始时间：子计时任务开始时间
  • 执行结束时间：子计时任务结束时间
  • 单线程组最大任务项：配置单JVM处理的最大任务项数量，多任务项情况下，可按需限制，一般默认，多执行机会均衡分配（TBScheduleManager的任务调度器使用，未研究过。。）

图片描述

  • 策略名称：策略标示，随意填写
  • 任务类型：一般保持默认Schedule
  • 任务名称：对应任务栏被调度任务名称
  • 任务参数：一般不用，保持空
  • 单JVM最大线程组数量：单个JVM允许开启的线程数
  • 最大线程组数量：多处理机情况下的线程总数限制（总线程数为2，如果配置任务项的线程为4是没有意义的）
  • IP地址(逗号分隔)：如图说明，此处注意多处理机如果没有根据任务项划分数据处理，会导致多处理机重复处理数据

TBScheduleProcessorSleep多线程工作原理

启动task配置的threadNum数量的线程去处理任务。由其中一个线程去获取任务并放入taskList队列中，所有的线程从这个队列中获取任务执行。如果是Multi任务，可以一次取多个任务执行。在一个线程获取任务的过程中，其他线程处于休眠状态，任务获取完毕唤醒其他线程。

  • TBScheduleProcessorSleep#loadScheduleData
  • IScheduleTaskDeal#selectTasks，由此方法的实现返回获取的任务
  • 两次loadScheduleData之间有休眠，即在task上配置的SleepTimeInterval（每次处理完数据后休眠时间）
  • 一旦TBScheduleProcessorSleep启动了，会一直循环执行，直到PauseTimer让其停止。但如果没有配置结束时间，则一直运行。（对于运行间隔较短的任务，应通过上述休眠时间来实现控制）

注意事项

  • 计划任务开始／恢复的时候Factory会创建TBScheduleProcessorSleep、TBScheduleProcessorNotSleep对象；计划停止的时候，会将已经在执行的任务处理完，但是缓存在队列中带执行的任务将被丢弃
  • IScheduleTaskDealSingle和IScheduleTaskDealMulti两个接口，除了execute方法上参数不同，功能上没有区别
  • 处理模式为Sleep下getComparator()没有作用，一般情况下，使用Sleep模式

原理

zk数据的大致结构

factory部分：

/rootPath/factory
/rootPath/factory/facotoryUUID1
/rootPath/strategy
/rootPath/strategy/strategy1
/rootPath/strategy/strategy1/factoryUUID1
  • factory（永久节点）存储执行机注册的主机信息，每个执行机启动后，都会在factory下创建一个临时顺序子节点，该节点名是由TBSchedule源码生成的主机唯一标示。每个factory对应一个执行机启动的TBScheduleManagerFactory实例，每个JVM可以有多个factory实例，factory实例也可以存在于不同的JVM中。（一般一个JVM对应一个factory，即任务执行终端）
  • strategy（永久节点）是在调度机配置的任务策略，每个factory启动时候回去检查自己能处理哪几个strategy，如果能处理则在/rootPath/strategy/strategy1/路径下注册自己，注册的这个信息在tbschedule源码里叫做FactoryRunningInfo。

调度配置为永久节点

[zk: 172.26.50.86:2181(CONNECTED) 56] get /rootPath/strategy/IScheduleTaskDealSingleTest
{"strategyName":"IScheduleTaskDealSingleTest","IPList":["127.0.0.1"],"numOfSingleServer":0,"assignNum":1,"kind":"Schedule","taskName":"IScheduleTaskDealSingleTest","taskParameter":"0","sts":"resume"}

[zk: 172.26.50.86:2181(CONNECTED) 57] get /rootPath/strategy/IScheduleTaskDealSingleTest/127.0.0.1$IAN$7D3122FC0C574603B6CFD0C146641A77$0000000000
{"strategyName":"IScheduleTaskDealSingleTest","uuid":"127.0.0.1$IAN$7D3122FC0C574603B6CFD0C146641A77$0000000000","requestNum":1,"currentNum":0,"message":""}

ScheduleServer部分：

/rootPath/baseTaskType
/rootPath/baseTaskType/task1
/rootPath/baseTaskType/task1/task1
/rootPath/baseTaskType/task1/task1/server
/rootPath/baseTaskType/task1/task1/server/scheduleServerUUID1
/rootPath/baseTaskType/task1/task1/taskItem
/rootPath/baseTaskType/task1/task1/taskItem/0
/rootPath/baseTaskType/task1/task1/taskItem/0/cur_server
/rootPath/baseTaskType/task1/task1/taskItem/0/deal_desc
/rootPath/baseTaskType/task1/task1/taskItem/0/parameter
/rootPath/baseTaskType/task1/task1/taskItem/0/req_server
/rootPath/baseTaskType/task1/task1/taskItem/0/sts
  • baseTaskType（永久节点）存储调度机创建的任务信息

例如：task1是在后台配置的任务。
/rootPath/baseTaskType/task1/task1/server/scheduleServerUUID1表示可以用来处理任务的调度器，每个factory实例可以有多个ScheduleServer实例。
/rootPath/baseTaskType/task1/task1/taskItem表示配置任务时，每个任务可以拆分成几个小的任务项。该节点的子节点，表示这个任务项运行时的信息，例如cur_server表示这个taskItem正在被哪个ScheduleServer处理。这些在tbschedule源码里也叫作runningInfo。

任务配置为永久节点

[zk: 172.26.50.86:2181(CONNECTED) 37] ls /rootPath/baseTaskType
[IScheduleTaskDealSingleTest]

[zk: 172.26.50.86:2181(CONNECTED) 39] get /rootPath/baseTaskType/IScheduleTaskDealSingleTest
{"baseTaskType":"IScheduleTaskDealSingleTest","heartBeatRate":5000,"judgeDeadInterval":60000,"sleepTimeNoData":500,"sleepTimeInterval":0,"fetchDataNumber":500,"executeNumber":1,"threadNumber":1,"processorType":"SLEEP","permitRunStartTime":"0 * * * * ?","expireOwnSignInterval":1.0,"dealBeanName":"iScheduleTaskDealSingleTest","taskParameter":"0","taskKind":"static","taskItems":["0"],"maxTaskItemsOfOneThreadGroup":0,"version":0,"sts":"resume"}

核心类图

图片描述

TBScheduleManagerFactoryfactory 实例对象，管理这个factory内部所有的事情。
ZKManager 负责与zk之间的连接，数据交换。
IScheduleDataManager 负责/rootPath/baseTaskType及其子节点所有数据模型维护。
ScheduleDataManger4ZK 负责/rootPath/factory、/rootPath/strategy及其字节点数据模型维护。
IStrategyTask 每个实例代表一个线程组，每个strategy可对应多个IStrategyTask实例，来真正处理配置的任务。

类之间的关系图：
图片描述

Factory 任务处理器（可以理解为JVM）
strategy 为配置的任务

一个Factory处理多个strategy，每个strategy下有多个IStrategyTask对象。
TBScheduleManager实现IStrategyTask接口，一个TBScheduleManager实例与ScheduleServer、IScheduleProcessor、IScheduleTaskDeal是一对一关系。
ScheduleServer是针对某个task的调度器
IScheduleProcessor是处理任务的多线程任务处理器，控制我们任务数据的循环执行（有TBScheduleProcessorSleep、TBScheduleProcessorNotSleep两种实现）
IScheduleTaskDeal是我们需要实现的任务对象（架构组提供的AbstractTaskDealSingle、AbstractTaskDealMulti为其abstract实现）

参考文章

http://www.jianshu.com/p/e925...
http://blog.csdn.net/taosir_z...

weixin_34352005
关注
tbschedule使用
panda-star的博客
04-02 600
tbschedule使用 文章目录tbschedule使用一、简介二、tbschedule知识点2.1 tbschedule特点2.2 tbschedule实现三、tbschedule关键类3.1 ZKManager3.2 TBScheduleManagerFactory3.2.1 配置zookeeper3.2.2 调度任务和调度策略的管理器生成3.2.3 调度服务的重启、停止等3.3 Sched...
SystemVerilog Schedule
punkchang88的博客
03-25 885
Simulation Advancement 仿真器不是按照真实时间推进而进行仿真的， 仿真器是基于event仿真推进，分成以下两个层次： time slots event 仿真需要处理的最小单位是event， 每个event 都带有自己的timeslot信息，每个timeslots的具体实现就是一个event queue，这个queue里放着这个slots里所有需要处理的events。 仿真是从timeslot 0开始的，首先执行timeslots 0 queue里的events，执行完成以后，执行下
tbSchedule 使用
weixin_33811961的博客
04-22 388
介绍 TBSchedule是一个支持分布式的调度框架，让批量任务或者不断变化的任务能够被动态的分配到多个主机的JVM中,在不同的线程组中并行执行,所有的任务能够被不重复,不遗漏的快速处理。基于ZooKeeper的纯Java实现，由Alibaba开源。 使用样例 实现IScheduleTaskDealSingle重写两个方法，提供的还有一个接口IScheduleTaskDealMulti，本文不做...
TbSchedule的简单使用及其配置
li2474466564的博客
07-06 624
一.TbSchedule相关配置 pom.xml <dependency> <groupId>com.taobao.pamirs.schedule</groupId> <artifactId>tbschedule-core</artifactId> <version>3.4.1</version> </dependency> application.yml zkConfig:
分布式调度框架TBSchedule使用方法
weixin_30814329的博客
05-07 774
一、TBSchedule简介 TBSchedule是来自淘宝的分布式调度开源框架，基于Zookeeper纯Java实现，其目的是让一种批量任务或者不断变化的任务，能够被动态的分配到多个主机的JVM中的不同线程组中并行执行。所有的任务能够被不重复，不遗漏的快速处理。这种框架任务的分配通过分片实现了不重复调度，又通过架构中Leader的选择，存活的自我保证，完成了可用性和伸缩性的保障。 TBSch...
tbschedule
yzk527498580的专栏
06-01 479
http://code.taobao.org/p/tbschedule/wiki/index/
springboot schedule通过数据库控制开启关闭
最新发布
04-03
CREATE TABLE `tb_schedule_switch` ( `id` int(11) NOT NULL AUTO_INCREMENT, `status` tinyint(4) NOT NULL DEFAULT '0' COMMENT '0-关闭 1-开启', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=1 ...
8-07-14_MegaCLI for linux_windows
03-15
SCGCQ00573091 (DFCT) - NCQ setting for SATA pd is showing disabled with TB fW. SCGCQ00576028 (DFCT) - No description for "setdelay" with help file of adppr. Installation Commands: =================...
Presto监控和配置：配置
eagooqi的专栏
12-10 1118
Web UI 　　Query基本状态的查询 JMX HTTP API 　　GET /v1/jmx/mbean[/{objectName}] 　　　　• com.facebook.presto.execution:name=TaskManager 　　　　• com.facebook.presto.execution:name=QueryManager 　　　　• com.facebook.presto.execution:name=NodeScheduler 事件通知 　　Event Listener
Revit-调用系统命令-PostCommand
congzoujifang486的博客
07-08 1245
Revit-调用系统命令
TBSchedule淘宝开源定时任务调度框架客户端demo
11-19
TBSchedule淘宝开源定时任务调度框架客户端demo，maven 依赖TBSchedule后进行job作业
分布式开源调度框架TBSchedule原理与应用
热门推荐
传说今天不多说
02-24 4万+
第一部分 TBSchedule基本概念及原理 1. 概念介绍 2. 工作原理 3. 源码分析 4. 与其他开源调度框架对比 第二部分 TBSchedule分布式调度示例 1. TBSchedule源码下载 2. 引入源码Demo开发示例 3. 控制台配置任务调度 4. selectTasks方法参数说明 5. 创建调度策略参数说明 6. 创建任务参数说明第一部分 TBSchedule基本概念
tbscheduler之TBScheduleManager分析
jianghuihong2012的专栏
09-29 1571
tbscheduler是个非常优秀的调度框架，虽然代码复杂，但是功能强大稳定。 今天主要分析一下里面的TBScheduleManager类。首先摘抄一段玄难大师在代码中的注释： /** * 1、任务调度分配器的目标： 让所有的任务不重复，不遗漏的被快速处理。 * 2、一个Manager只管理一种任务类型的一组工作线程。 * 3、在一个JVM里面可能存在多个处理相同任务类型的Ma
外墙设计模式示例
最佳 Java 编程
05-30 179
本文是我们名为“ Java设计模式 ”的学院课程的一部分。 在本课程中，您将深入研究大量的设计模式，并了解如何在Java中实现和利用它们。 您将了解模式如此重要的原因，并了解何时以及如何应用模式中的每一个。 在这里查看 ！ 目录 1.简介 2.什么是立面模式 3.解决问题 4.使用外观模式 5.下载源代码 1.简介 在本课程中，我们将讨论另一种结构...
python调度web_基于Quartz编写一个可复用的分布式调度任务管理WebUI组件
weixin_27015733的博客
02-21 348
前提创业小团队，无论选择任何方案，都优先考虑节省成本。关于分布式定时调度框架，成熟的候选方案有XXL-JOB、Easy Scheduler、Light Task Scheduler和Elastic Job等等，其实这些之前都在生产环境使用过。但是想要搭建高可用的分布式调度平台，这些框架(无论是否去中心化)都需要额外的服务器资源去部署中心调度管理服务实例，甚至有时候还会依赖一些中间件如Zookeep...
TBSchedule原理与实践
杨春建的博客
10-13 8136
原文地址：http://blog.csdn.net/taosir_zhang/article/details/50728362 淘宝开源定时任务调度框架 1. 淘宝代码库TBSchedule（使用说明附源码下载） 下载TBSchedule源码http://code.taobao.org/p/tbschedule/wiki/index  内容包括两部分：TBSched
详解应对平台高并发的分布式调度框架TBSchedule
博客
04-06 3487
声明：本文为CSDN原创投稿文章，未经许可，禁止任何形式的转载。 作者：周立伟（ITeye博客：mycolababy.iteye.com），京东商城高级工程师，关注分布式、高并发和Java中间件的研究。 责编：钱曙光，关注架构和算法领域，寻求报道或者投稿请发邮件qianshg@csdn.net，另有「CSDN 高级架构师群」，内有诸多知名互联网公司的大牛架构师，欢迎架构师加微信q...
阿里巴巴分布式调度引擎tbschedule实战四tbschedule的配置使用
12-19 457
今天开始我们的实战配置的章节。代码我共享在qq群里了！751124494。 业务场景介绍 先把我们的业务场景介绍下,这里有两张表user_detail 是源数据表user_detail_copy 是备份数据表,场景是这样的将源数据表的数据实时的同步到另外一张备份表，我们这个场景不是定时的，而是实时执行的！下面介绍下test-tbschedule的代码, test-tbschedule 这...
淘宝定时任务 tbschedule实战
convict_EVA的专栏
09-19 1万+
说明： tbschedule项目其实可以分为两部分： 1）schedule管理控制台。负责控制、监控任务执行状态2）实际执行job的客户端程序。在实际使用时，首先要启动zookeeper, 然后部署tbschedule web界面的管理控制台，最后启动实际执行job的客户机器。这里zookeeper并不实际控制任务调度，它只是负责与N台执行job的客户端通讯，协调、管理、监控这些机器的运行信息
TB366-DU端子板使用详解
"TB366-DU使用手册是浙大中控提供的技术资料，详细介绍了TB366-DU端子板的使用方法和功能，包括接线端子板的介绍、端子板外观和接插件说明、接口特性和接线定义。" TB366-DU是一款用于工业控制领域的端子板，它专为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值