hive表卸数脚本

最新推荐文章于 2024-02-23 12:56:39 发布

weixin_44352020

最新推荐文章于 2024-02-23 12:56:39 发布

阅读量625

点赞数

分类专栏： shell脚本应用

本文链接：https://blog.csdn.net/weixin_44352020/article/details/106046047

版权

shell脚本应用专栏收录该内容

11 篇文章 2 订阅

订阅专栏

#!/bin/bash
source ~/.bash_profile
#时间参数
data_dt=$1
#格式化时间参数
data_chk=`date -d $data_dt`
if [$? -ne 0]
  then
    exit -1
fi
#时间格式转为yyyyMMdd
file_dt=`date -d "$data_dt" +%Y%m%d`
#输出目录
exp_path=/OUTPUT
#判断目录是否存在不存在则新建
if [! -d $exp_path/aaa];then
mkdir -p  $exp_path/aaa
fi
if [! -d $exp_path/file_dt];then
mkdir -p  $exp_path/file_dt
fi
#到处数据的sql语句
export_sql="select a,b,c '$file_dt' from table where dt='$file_dt';"
##执行sql
hive -e "use dbname;set mapreduce.job.queuename=queueName;set hive.exec.compress.output=false;
insert overwrite local directory '$exp_path/aaa' row format delimited fields terminated by '\u0003' null defiled as ''$export_sql" 
echo "finished"
#判断目录是否有文件
filesize=`ls -lrt $exp_path/aaa | awk ''{print$2}`
if ["$filesize"=="0"];then
  echo "no file"
  exit 0
fi
# 目录赋权  写入到dat 文件中
chmod -R 757 $exp_path/aaa
cat $exp_path/aaa/*>$exp_path/file_dt/filename_$file_dt.dat
chmod  -R 757  $exp_path/file_dt/*


#设置每行结束符为 回车+换行
sed -i "s/$/\r/g" $exp_path/file_dt/filename_$file_dt.dat
#设置GBK字符集
iconv -c -f UTF-8 -t GBK $exp_path/file_dt/filename_$file_dt.dat $exp_path/file_dt/filename_result_$file_dt.dat
#删除 $exp_path/file_dt/filename_$file_dt.dat 
rm -rf $exp_path/file_dt/filename_$file_dt.dat
rm -rf $exp_path/aaa/*
echo "all finished"