加载预处理数据到ods

#!/bin/bash

############################################

author: hunter.d

date : 2019-11-28

desc : 加载预处理输出的结果数据到ODS层 ODS_APP_LOG

############################################

HIVE_HOME=/opt/app/hive-2.1.0

获取当前时间的前一天日期

DT=date -d'-1 day' +'%Y-%m-%d'

如果脚本传入了参数，则计算参数所指定的日期

if [ $1 ]
then
DT=$1
fi

echo “准备加载数据 …”

SQL=“load data inpath /titan/output/applog/$DTintotableOD{S}_{A}P{P}_{L}OGpartition(dt{=}^{\prime }${DT}’)”

$HIV{E}_{H}OME/bin/hive-e"${SQL}"

if [ $? -eq 0 ]
then
echo “任务执行成功…”
else
echo “出了点莫名其妙的问题…”
fi

#可能遇到的问题：

集群时间不同步，提交失败

yarn的resourcemanager宕机，提交失败

hdfs工作状态不正常，提交失败

没指定队列或指定的队列不存在，提交失败

#提交虽然成功，但运行错误：

appmaster就失败： NoClassDefineFound

executor失败： NoClassDefineFound