#!/bin/bash############################################## author: hunter.d# date : 2019-11-28 # desc : 加载预处理输出的结果数据到ODS层 ODS_APP_LOG############################################# HIVE_HOME=/opt/app/hive-2.1.0# 获取当前时间的前一天日期DT=date -d'-1 day' +'%Y-%m-%d'# 如果脚本传入了参数，则计算参数所指定的日期if [ $1 ]then DT=
1
f
i
e
c
h
o
"
准
备
加
载
数
据
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
"
S
Q
L
=
"
l
o
a
d
d
a
t
a
i
n
p
a
t
h
/
t
i
t
a
n
/
o
u
t
p
u
t
/
a
p
p
l
o
g
/
1fiecho "准备加载数据 ...................."SQL="load data inpath /titan/output/applog/
1fiecho"准备加载数据...................."SQL="loaddatainpath/titan/output/applog/{DT} into table ODS_APP_LOG partition(dt=’
D
T
′
)
"
{DT}')"
DT′)"{HIVE_HOME}/bin/hive -e "${SQL}"if [ $? -eq 0 ]then echo "任务执行成功…"else echo "出了点莫名其妙的问题…"fi #可能遇到的问题：# 集群时间不同步，提交失败# yarn的resourcemanager宕机，提交失败# hdfs工作状态不正常，提交失败# 没指定队列或指定的队列不存在，提交失败#提交虽然成功，但运行错误：# appmaster就失败： NoClassDefineFound# executor失败： NoClassDefineFound
扫一扫
11-20
1618
1618
03-10
1333
1333
03-11
1643
1643
09-05
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
