executeAllConvert.sh ,hue调用此shell文件,这个文件是调用的入口文件
#!/bin/sh -l
dir=$(cd "$(dirname "$0")";pwd)
source ./env.conf
spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/hdfs@KIUKIANG.COM --packages com.alibaba:fastjson:1.2.46,org.postgresql:postgresql:42.1.1 --class cn.jiujiang.service.ApplicationMain ./codeConvert-etl-1.0-SNAPSHOT.jar
./exeSql.sh od_dealer_convert_1.sql
./exeSql.sh od_dealer_convert_2.sql
if [ $? -ne 0 ];then
exit 1
fi
exeSql.sh 文件的内容
#!/bin/sh -l
dir=$(cd "$(dirname "$0")";pwd)
source ./env.conf
#RESULT_SQL=`cat ${HOME}/qc_analysis/hive/ads/compute/$1`
#echo ${RESULT_SQL}
$HIVE -f ./$1
# 这4行必填
if [ $? -ne 0 ];then
exit 1
fi
# 这4行必填
od_dealer_convert_1.sql 文件的内容
# 这4行必填
set mapred.reduce.tasks=3;
set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
set hive.exec.parallel=true;
# 这4行必填
insert overwrite table ods.od_dealer_convert_2
select * from abc;
end.conf文件就是些公用的变量配置等信息
HOME=/data/data
HIVE="/usr/bin/hive"
重点来了,hue添加oozie的shell调用时,注意坑的地方
1 画框框的位置,要把 executeAllConvert.sh 文件里出现的文件,都要添加进来,这里有5个文件, env.conf,codeConvert-etl-1.0-SNAPSHOT.jar,exeSql.sh,od_dealer_convert_1.sql,od_dealer_convert_2.sql
2 上述文件sql和shell中,标明的注释的几个必填项,必须要写