通过查询hive元数据,获取到建表语句

通过查询hive元数据,获取到建表语句

#!/bin/sh

db=$1
if [ -z "$db" ];then
    echo "请指定数据库名称:"
    exit 1
fi

if [ ! -d "tmp" ]; then
    mkdir tmp
fi

errFile="err.info"
>$errFile
mkdir /opt/sql/EMR/${db}
for t in `impala-shell -i 127.0.0.1:25003 -k -B -q "use $db;show tables;"|grep -v _view`;do

    echo ${db}.$t   
    parqFile="${db}/${db}.${t}.sql"
    > $parqFile
    for hdfs in `impala-shell -i 127.0.0.1:25003 -k -B -q "show partitions ${db}.$t;"|awk '{print $NF}'|grep ^hdfs`
    do

         parqStr=""
         # hdfs://WH-BI-NS/ydbi/original/sdk/tlbb3d/active/2021-01-15
         # /ydbi/business/hive/server/mbiserver/abnormalrole/month=2016-11-01/appkey=1400140930701'
         newhdfs=`echo $hdfs|sed 's#hdfs://WH-BI-NS##g'`
         parqinfo=`echo $hdfs|grep -oP "\w*=?\d+-\d+-\d+.*$"`
         if [ -z "$parqinfo" ];then
              echo "${db}.${t} is not a partition table" >> $errFile
              continue
         fi

         if [ `echo $parqinfo|grep -c "="` -eq 0 ];then
             parq=`echo $parqinfo|grep -oP "\d+-\d+-\d+"`
             parqStr="dt='${parq}'"
         elif [ `echo $parqinfo|grep -c "="` -eq 1 ]; then
             #parqStr=`echo ${parqinfo#*/}|sed -e "s/=/='/g"`"'"
             parqStr=`echo $parqinfo|sed -e "s#=#='#g" -e "s#/#',#g"`"'"
         else
             echo "${db}.${t} may have not format partitions, please confirm.." >> $errFile
             continue
             #exit 1
         fi
         # ALTER TABLE table_name ADD IF NOT EXISTS PARTITION (dt='20130101') LOCATION '/user/hadoop/warehouse/table_name/dt=20130101';
         echo "ALTER TABLE  ${db}.${t} ADD IF NOT EXISTS PARTITION (${parqStr}) LOCATION '${newhdfs}';" >> $parqFile
    done
done
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王子健121

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值