taobao分布试调试管理框架TbSchedule整合部署教程

本教程介绍的是淘宝(taobao.com)开源技术分布试调试管理框架TbSchedule整合部署的入门知识，任务调度管理作为基础架构通常会出现于我们的业务系统中，目的是让各种任务能够按计划有序执行。

一、前言

任务调度管理作为基础架构通常会出现于我们的业务系统中，目的是让各种任务能够按计划有序执行。比如定时给用户发送邮件、将数据表中的数据同步到另一个数据表都是一个任务，这些相对耗时的操作通过任务调度系统来异步并行执行，既能提高任务的执行效率又能保障任务执行的可靠性。

实现的方式也是多种多样，比如使用Timer进行简单调度或者使用Quartz类似的框架，本文基于淘宝开源框架TbSchedule实现，其设计目的是让批量任务或者不断变化的任务能够被动态的分配到多个主机的JVM中，在不同的线程组中并行执行，所有的任务能够被不重复，不遗漏的快速处理，目前被应用于阿里巴巴众多业务系统。

请参照http://code.taobao.org/p/tbschedule/wiki/index/，相关内容不再重复介绍，本文记录了详细的部署整合操作步骤。

 

二、Zookeeper部署

1、TbSchedule依赖于Hadoop Zookeeper组件，实现任务的分布式配置及各服务间的交互通信，Zookeeper以TreeNode类型进行存储，支持Cluster形式部署且保证最终数据一致性，关于ZK的资料网上比较丰富，相关概念不再重复介绍，本文以zookeeper-3.4.6为例，请从官网下载http://zookeeper.apache.org。

2、创建ZookeeperLab文件夹目录，模拟部署3台Zookeeper服务器集群，目录结构如下。

3、解压从官网下载的zookeeper-3.4.6.tar文件，并分别复制到三台ZkServer的zookeeper-3.4.6文件夹。

4、分别在三台ZkServer的data目录下创建myid文件（注意没有后缀），用于标识每台Server的ID，在Server1datamyid文件中保存单个数字1，Server2的myid文件保存2，Server3的myid保存3。

5、创建ZkServer的配置文件，在zookeeper-3.4.6conf文件夹目录下创建zoo.cfg，可以从示例的zoo_sample.cfg 复制重命名。因为在同一台机器模拟Cluster部署，端口号不能重复，配置文件中已经有详细的解释，修改后的配置如下，其中Server1端口号2181，Server2端口号2182，Server3端口号2183。

代码如下

复制代码

# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial  # synchronization phase can take initLimit=10 # The number of ticks that can pass between  # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just  # example sakes. dataDir=E:/ZookeeperLab/server1/data dataLogDir=E:/ZookeeperLab/server1/logs # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the  # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1 server.1=127.0.0.1:2888:3888 server.2=127.0.0.1:2889:3889 server.3=127.0.0.1:2890:3890

6、通过zookeeper-3.4.6bin文件夹zkServer.bat文件启动ZKServer，由于Cluster部署需要选举Leader和Followers，所以在3个ZKServer全部启动之前会提示一个WARN，属正常现象。

7、Zookeeper启动成功后可以通过zookeeper-3.4.6bin文件夹的 zkCli.bat验证连接是否正常，比如创建节点“create /testnode helloworld”，查看节点“get /testnode”，连接到组群中其它ZkServer，节点数据应该是一致的。更多指令请使用help命令查看。

 

8、对于Linux环境下部署基本一致，zoo.cfg配置文件中data和datalog文件夹路径改为linux格式路径，使用“./zkServer.sh start-foreground”命令启动ZkServer，注意start启动参数不能输出异常信息。

9、至此Zookeeper的配置完毕。

 

三、SVN从TaoCode获取并Import TbSchedule源码（请先配置Maven环境）

 

四、TbSchedule控制台的部署

1、TbSchedule Console是基于web页面对调度任务配置、部署、监控的终端。

2、将源码目录下的consoleScheduleConsole.war包及depend-lib库部署到Web应用服务器，本文以Tomcat 7.0.54为例，相关步骤不再描述。<