[shell]shell脚本实现每天自动抽取数据插入hive表

最新推荐文章于 2022-10-05 15:56:46 发布

TOMOCAT

最新推荐文章于 2022-10-05 15:56:46 发布

阅读量3.4w

点赞数

分类专栏： shell

本文链接：https://blog.csdn.net/TOMOCAT/article/details/81773985

版权

shell 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

#!/bin/bash
source /etc/profile
source ~/.bashrc

M_DATE=$(date -d'-1 day' +%m) #取系统日期前一天的月份




spark-sql -e"
insert overwrite table db.tbname 
partition(event_day='${day}')
select 
    col_name1
    ,col_name2
    ,col_name3
from
    db.tbname2
where condition
  ;"

  #touchz _SUCCESS
  line_num=`$HADOOP_HOME/bin/hadoop fs -du -s /user/warehouse/db/tbname1/event_day=$day | awk '{print $1}'`
  if [ $line_num -gt 0 ]
  then
      $HADOOP_HOME/bin/hadoop fs -touchz /user/warehouse/db/tbname1/event_day=$day/_SUCCESS
  fi