hue调度shell脚本,shell脚本操作hive表，shell脚本里用spark-submit 调用java程序 [生产环境使用]

最新推荐文章于 2023-12-18 12:55:56 发布

小哇666

最新推荐文章于 2023-12-18 12:55:56 发布

阅读量578

点赞数

分类专栏： # Hue 文章标签： oozie集成 hue集群 shell

本文链接：https://blog.csdn.net/qq_41712271/article/details/109539955

版权

Hue 专栏收录该内容

15 篇文章 1 订阅

订阅专栏

executeAllConvert.sh ，hue调用此shell文件，这个文件是调用的入口文件

#!/bin/sh -l

dir=$(cd "$(dirname "$0")";pwd)
source ./env.conf

spark-submit --keytab /var/lib/hadoop-hdfs/hdfs.keytab --principal hdfs/hdfs@KIUKIANG.COM --packages com.alibaba:fastjson:1.2.46,org.postgresql:postgresql:42.1.1 --class cn.jiujiang.service.ApplicationMain ./codeConvert-etl-1.0-SNAPSHOT.jar

./exeSql.sh od_dealer_convert_1.sql
./exeSql.sh od_dealer_convert_2.sql

if [ $? -ne 0 ];then
    exit 1
fi

exeSql.sh 文件的内容

#!/bin/sh -l

dir=$(cd "$(dirname "$0")";pwd)
source ./env.conf

#RESULT_SQL=`cat ${HOME}/qc_analysis/hive/ads/compute/$1`

#echo ${RESULT_SQL}
$HIVE -f ./$1

# 这4行必填
if [ $? -ne 0 ];then
    exit 1
fi
# 这4行必填

od_dealer_convert_1.sql 文件的内容

# 这4行必填
set mapred.reduce.tasks=3;
set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
set hive.exec.parallel=true;
# 这4行必填

insert overwrite table ods.od_dealer_convert_2
select * from abc;

end.conf文件就是些公用的变量配置等信息

HOME=/data/data
HIVE="/usr/bin/hive"

重点来了，hue添加oozie的shell调用时，注意坑的地方

1 画框框的位置，要把 executeAllConvert.sh 文件里出现的文件，都要添加进来，这里有5个文件， env.conf，codeConvert-etl-1.0-SNAPSHOT.jar，exeSql.sh，od_dealer_convert_1.sql，od_dealer_convert_2.sql
2 上述文件sql和shell中，标明的注释的几个必填项，必须要写