azkaban3.57环境搭建与简单使用

环境centos6.4  jdk1.8   git 2.8.3

先下载安装并解压azkaban3.57

进入解压后的目录，进行./gradlew build -x test编译

 

编译成功后

[root@hadoop001 azkaban-3.57.0]# cd azkaban-solo-server/

[root@hadoop001 azkaban-solo-server]# cd build/distributions/

[root@hadoop001 distributions]# tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C /opt/software/

 

 

[root@hadoop001 conf]# pwd
/opt/software/azkaban-solo-server-0.1.0-SNAPSHOT/conf
 

[root@hadoop001 conf]# vim azkaban.properties

# Azkaban Personalization Settings
azkaban.name=Jeff
azkaban.label=Jeff Azkaban
。。。

 

[root@hadoop001 conf]# vim azkaban-users.xml

<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <user password="000000" roles="admin"  username="jeff" />
  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>
 

 

配置好后启动Hadoop集群

 

然后[root@hadoop001 bin]# ./start-solo.sh

 

访问端口是8081

日志的存放位置在/opt/software/azkaban-solo-server-0.1.0-SNAPSHOT/local

 

创建一个项目出来

因为当前的azkaban项目仅仅只支持上传zip包 

 

创建两个文件，一个是project，一个是flow

 

完成简单的操作之后，我们开始跑一个稍微复杂一点的，mr作业

在flow上编辑

nodes:
  - name: mr-etl
    type: command
    config:
      command: /opt/software/hadoop-2.6.0-cdh5.7.0/bin/hadoop jar /opt/software/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /jeff/test  /jeff/out3

 

（command的路径一定要写全）

 

schedule能控制每分钟调度作业