阿里开源Zeus云梯分布式作业调度平台安装教程

来源:https://bbs.aliyun.com/simple/t338991.html

第一步:软件包的下载
 

 


 

[HTML] 纯文本查看 复制代码

 

apache-tomcat-7.0.69.tar.gz  下载URL:
http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.69/bin/
apache-maven-3.2.5-bin.tar.gz下载URL: 
http://mirror.bit.edu.cn/apache//maven/maven-3/3.2.5/binaries/
zeus2-master.zip下载URL:
https://github.com/michael8335/zeus2




 

 

第二步:解压和环境变量配置
 

 

1.将apache tomcat,maven软件包上传到/root/soft/apache/
 

 

zeus2 上传到/root/soft  (如果没有这两个路径可执行创建)
 

 

并进入软件包目录下解压
 

 


 

[Shell] 纯文本查看 复制代码

 

tar -zxvf apache-tomcat-7.0.69.tar.gz
tar -zxvf apache-maven-3.2.5-bin.tar.gz
unzip zeus2-master.zip




 

 

2.配置maven
 

 

vi /etc/profile 在里面新增maven的home目录,并将它的bin加入到path后面

 

 

[Shell] 纯文本查看 复制代码

 

MAVEN_HOME=/root/soft/apache/apache-maven-3.2.5
exportPATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin

cd /root/soft/apache/ 
mkdir mvn_repo 资源库存放文件夹
cd /root/soft/apache/apache-maven-3.2.5/conf

 


 

编辑settings.xml
 

 

将里面对应的localRepository 标签注释去掉,修改内容为:
 

 

 

[XML] 纯文本查看 复制代码

 

<localRepository>/root/soft/apache/mvn_repo</localRepository>




 

 

第三步:配置Zeus
 

 

1.

[Shell] 纯文本查看 复制代码

 

vi /root/soft/zeus2-master/web/src/main/filter/antx.properties




 

 


 

[XML] 纯文本查看 复制代码

 

#环境配置,用来标记环境,可以配合Environment使用
zeus.env=test-env
zeus.loggingRoot=/root/soft/zeuslog
zeus.loggingLevel=warn
#任务执行文件夹,每次任务都会在此文件夹下新建一个临时文件夹
zeus.localdata.dir=/root/soft/run_job_dir
#此处必须是hdfs路径,所有的上传附件都会存放在下面路径上
zeus.hdfsLibPath=/hdfs-upload-dir
#环境配置,如果是在一个集群中,需要配置城同一个名称
zeus.schedule.group=test-env
#Scheduler 与 Worker 通信的端口
zeus.connect.port=9887
#hadoop jobtracker地址,填写ip+port 或者domain+port
zeus.jobtracker=127.0.0.1:50030
#zk配置非必选,可以为空,此处的zk是用来通知任务的成功失败事件的
zeus.zookeeper.host=




 

 

2.拷贝antx.properties 到用户home目录下

 


 

[Shell] 纯文本查看 复制代码

 

cp antx.properties ~/




 

 

3.设置/root/soft/zeus2-master/web/pom.xml修改相应的highcharts-1.4.0.jar 路径
 

 


 

[XML] 纯文本查看 复制代码

 

<local.highcharts>/root/soft/zeus2-master/web/libs/highcharts-1.4.0.jar</local.highcharts>




 

 

4.mysql中创建zeus数据库
 

 

mysql> create database zeus;
 

 

Query OK, 1 row affected (0.00 sec)
 

 

mysql> show databases;
 

 

+--------------------+
 

 

| Database           |
 

 

+--------------------+
 

 

| information_schema |
 

 

| hive               |
 

 

| mysql              |
 

 

| test               |
 

 

| zeus               |
 

 

+--------------------+
 

 

5 rows in set (0.02 sec)
 

 

配置zeus数据库连接
 

 

/root/soft/zeus2-master/web/src/main/resources/persistence.xml
 


 


 

[XML] 纯文本查看 复制代码

 

<bean id="dataSource"class="org.apache.commons.dbcp.BasicDataSource"> <propertyname="driverClassName" value="com.mysql.jdbc.Driver"/>
   <propertyname="url" value="jdbc:mysql://master:3306/zeus2?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=utf-8&autoReconnect=true&autoReconnectForPools=true"/>
<propertyname="username" value="root"/>
<propertyname="password" value="123456"/>
<propertyname="maxActive" value="20" />
<propertyname="initialSize" value="3" />
<propertyname="maxWait" value="60000" />
<propertyname="maxIdle" value="15" />
<propertyname="minIdle" value="5" />
 <propertyname="removeAbandoned" value="true" />  <propertyname="removeAbandonedTimeout" value="180" />
   <property name="validationQuery" value="SELECT 1"/>
   <property name="testOnBorrow" value="true" />
   </bean>




 

 

5.配置hadoop home和hive home
 

 

 

[Shell] 纯文本查看 复制代码

 

HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export HADOOP_HOME  HIVE_HOME

 


 

安装dos2unix
 

 


 

[Shell] 纯文本查看 复制代码

 

yum install -y dos2unix




 

 

6.打包zeus
 

 

进入zeus根目录顺序执行以下命令
 

 


 

[Shell] 纯文本查看 复制代码

 

mvn clean:clean
mvn package -Dmaven.test.skip=true
cd deploy
mvn assembly:assembly




 



 

7.把war发布到tomcat
 

 

构建出的war包在/deploy/target/zeus.war处 复制到tomat/webapps 目录下
 

 

重启tomcat
 

 

http://192.168.1.100:8080/zeus
 

 


阿里开源Zeus云梯分布式作业调度平台安装教程-阿里分布式调度框架
 

zeus.jpg (63.44 KB, 下载次数: 3)

 


下载附件

 保存到相册
 


 

2016-5-1 21:33 上传

Elastic-Job是ddframe中dd-job的作业模块中分离出来的分布式弹性作业框架。去掉了和dd-job中的监控和ddframe接入规范部分。该项目基于成熟的开源产品Quartz和Zookeeper及其客户端Curator进行二次开发。       ddframe其他模块也有可独立开源的部分,之前当当曾开源过dd-soa的基石模块DubboX。elastic-job和ddframe关系见下图Elastic-Job 主要功能定时任务: 基于成熟的定时任务作业框架Quartz cron表达式执行定时任务。作业注册中心: 基于Zookeeper和其客户端Curator实现的全局作业注册控制中心。用于注册,控制和协调分布式作业执行。作业分片: 将一个任务分片成为多个小任务项在多服务器上同时执行。弹性扩容缩容: 运行中的作业服务器崩溃,或新增加n台作业服务器,作业框架将在下次作业执行前重新分片,不影响当前作业执行。支持多种作业执行模式: 支持OneOff,Perpetual和SequencePerpetual三种作业模式。失效转移: 运行中的作业服务器崩溃不会导致重新分片,只会在下次作业启动时分片。启用失效转移功能可以在本次作业执行过程中,监测其他作业服务器空闲,抓取未完成的孤儿分片项执行。运行时状态收集: 监控作业运行时状态,统计最近一段时间处理的数据成功和失败数量,记录作业上次运行开始时间,结束时间和下次运行时间。作业停止,恢复和禁用:用于操作作业启停,并可以禁止某作业运行(上线时常用)。被错过执行的作业重触发:自动记录错过执行的作业,并在上次作业完成后自动触发。可参考Quartz的misfire。多线程快速处理数据:使用多线程处理抓取到的数据,提升吞吐量。幂等性:重复作业任务项判定,不重复执行已运行的作业任务项。由于开启幂等性需要监听作业运行状态,对瞬时反复运行的作业对性能有较大影响。容错处理:作业服务器与Zookeeper服务器通信失败则立即停止作业运行,防止作业注册中心将失效的分片分项配给其他作业服务器,而当前作业服务器仍在执行任务,导致重复执行。Spring支持:支持spring容器,自定义命名空间,支持占位符。运维平台:提供运维界面,可以管理作业和注册中心。相关文档下载Release Notes1.0.2接口变更声明何为分布式作业?目录结构说明使用步骤开发指南使用限制运维平台阅读源码编译问题说明实现原理作业分片策略监控快速上手(感谢第三方志愿者 泽伟@心探索科技 提供文档)InfoQ新闻Elastic-Job Wiki (由社区志愿者自由编辑的) 标签:作业调度
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值