黑猴子的家：Azkaban3.84.4之Java任务

使用Azkaban调度java程序

1、JavaProcess 作业类型案例

JavaProcess 类型可以运行一个自定义主类方法，type 类型为 javaprocess，可用的配置为：
Xms：最小堆
Xmx：最大堆
classpath：类路径
java.class：要运行的 Java 对象，其中必须包含 Main 方法
main.args：main 方法的参数

2、创建maven项目

便于打包，不用添加额外的依赖包

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.alex.azkaban</groupId>
    <artifactId>azkaban_mk</artifactId>
    <version>1.0-SNAPSHOT</version>
</project>

3、编写java程序

package com.alex.azkaban;
import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.InputStreamReader;
/**
 * @author 黑猴子的家
 */
public class AzkabanTest {
    public static void main(String[] args) throws Exception {
        //todo Ctrl + Alt + o 自动优化包
        BufferedReader reader = new BufferedReader(new InputStreamReader(
                new FileInputStream("/opt/module/azkaban/jobs/hdfs-site.xml")));
        String line;
        while((line=reader.readLine())!=null){
            System.out.println(line);
        }
        reader.close();
    }
}

4、base.project

[alex@hadoop102 azkaban]$ vim jobs/base.project
azkaban-flow-version: 2.0

5、base.flow

[alex@hadoop102 azkaban]$ vim jobs/base.flow
nodes:
  - name: jobA
    type: javaprocess
    config:
      Xms: 100M
      Xmx: 200M
      java.class: com.alex.azkaban.AzkabanTest
      classpath: /opt/module/azkaban/jobs/azkaban_mk.jar

6、打成zip包

[alex@hadoop102 jobs]$ zip base.zip base.flow base.project 
  adding: base.flow (deflated 23%)
  adding: base.project (stored 0%)

7、分发

[alex@hadoop102 jobs]$ xsync.sh azkaban_mk.jar
[alex@hadoop102 jobs]$ xsync.sh hdfs-site.xml

尖叫提示：因为是分布式的，如果不分发，会找不到jar包，也可以使用其它方式来解决，比如把jar包上传到hdfs共享文件系统，或者把jar包打到zip压缩包里面，再或者指定executor来执行

8、Azkaban 多 Executor 模式注意事项

Azkaban 多 Executor 模式是指，在集群中多个节点部署 Executor。在这种模式下，
Azkaban web Server 会根据策略，选取其中一个 Executor 去执行任务。
为确保所选的 Executor 能够准确的执行任务，我们须在以下三种方案任选其一，推荐使
用方案二。

方案一：指定特定的 Executor(hadoop102)去执行任务。
1)在 MySQL 中 azkaban 数据库 executors 表中，查询 hadoop102 上的 Executor 的 id。

mysql> use azkaban;
mysql> show tables;
mysql> select * from executors;

2)在执行工作流程时加入 useExecutor 属性

方案二：在 Executor 所在所有节点部署任务所需脚本和应用
方案三：打入zip包里面