**背景:**在shell脚本中简单定义hive的命令,并且通过crontab定时任务机制去调度,实现定时动态添加hive表分区。
**环境:**hadoop2.5.2+hive0.14(0.13)+zk3.3
问题描述:
shell脚本如下:
target_date=`date '+%Y-%m-%d' -d "+2 days"`
inc_mon=`date '+%Y%m' -d "0 days $target_date"`
inc_day=`date '+%d' -d "0 days $target_date"`
hive -e "use ODS_XXXXX;ALTER TABLE XXXXXXX ADD IF NOT EXISTS PARTITION (inc_mon='${inc_mon}',inc_day='${inc_day}') LOCATION '/db/ODS_XXXXXX/XXXXXX/${inc_mon}/${inc_day}'"
手动执行脚本测试是没有问题的,但是crontab定时执行则会出现“hive: command not found”错误。
原因及解决方案:
即便hive的环境变量已经设置成功,但是crontab中执行代码时,并不会解析到环境变量,需要在hive的安装目录下执行脚本,或者在shell脚本代码中配置定向到hive的安装路径下执行,在上边代码前面加上“source /etc/profile”和“locate /bin/hive”,如下:
source /etc/profile
locate /bin/hive
target_date=`date '+%Y-%m-%d' -d "+2 days"`
inc_mon=`date '+%Y%m' -d "0 days $target_date"`
inc_day=`date '+%d' -d "0 days $target_date"`
hive -e "use ODS_XXXXX;ALTER TABLE XXXXXXX ADD IF NOT EXISTS PARTITION (inc_mon='${inc_mon}',inc_day='${inc_day}') LOCATION '/db/ODS_XXXXXX/XXXXXX/${inc_mon}/${inc_day}'"
这样每次如果需要在shell脚本中写“hive -e”等hive命令,需要在前面加上“locate /bin/hive”,这样代码执行成功。