Azkaban之hive的job

1、前提是安装好azkaban

2、从官网上下载azkaban-jobtype-2.5.0.tar.gz这个压缩包 下载地址为：https://s3.amazonaws.com/azkaban2/azkaban-plugins/2.5.0/azkaban-jobtype-2.5.0.tar.gz

3、把下载好的压缩包 移动到你的executor服务的安装目录下的 plugins下例如：azkaban-executor-2.5.0/plugins/这个目录下面

4、解压azkaban-jobtype-2.5.0.tar.gz这个压缩包

 tar -zxvf azkaban-jobtype-2.5.0.tar.gz

5、进入到解压后的目录下 cd azkaban-jobtype-2.5.0/,修改common.properties这个配置文件，在里面添加hive.home=/home/yangxp/apache-hive-1.2.1-bin 这个的hadoop.home是你自己的hadoop的安装目录 ，至此azkaban之hadoop的安装完成。

使用Hive的“一次使用”命令，就是 “hive -e”，具体的脚本写法如下：vim hiveCount.sh

#!/bin/bash

export HIVE_HOME=/home/yangxp/apache-hive-1.2.1-bin

export PATH=$HIVE_HOME/bin:$PATH

echo $HIVE_HOME

hive -e ‘select count(distinct uid) from sodata.sodata2’

通过hive的一次性命令执行脚本的方式是：

[yangxp@master ~]$ hive -e ‘select * from sodata.sodata2 limit 10’

将hive的HQL写入到文件中的执行方式如下：

vim hiveQL.hql

Select * from sodata.sodata2 limit 10

:wq

[yangxp@master ~]$ hive -f hiveQL.hql

6、编写azkaban的job，具体写法如下：

             vim hiveCount.job

             type=command

             command=bash hiveCount.sh

7、将hiveCount.sh和hiveCount.job打包为hivecount-job.zip压缩文件。

hivecount-job.zip

8、然后登陆https://master:8443 azkaban-web界面创建azkaban-hive工程，并上传hivecount-job.zip压缩文件程序

9、点击Excute运行