每日定时导入hive数据仓库的自动化脚本

最新推荐文章于 2024-03-06 11:49:20 发布

大数据部

最新推荐文章于 2024-03-06 11:49:20 发布

阅读量4k

点赞数 2

分类专栏：批量:Hive/Spark/Hbas 文章标签： hive

本文链接：https://blog.csdn.net/bdchome/article/details/45641699

版权

本文介绍了如何创建一个shell脚本，用于每日定时从源数据装载到Hive的临时表，经过处理后再转移到正式的分区表中。通过在crontab设置定时任务，确保每天07:25自动执行该脚本，实现数据仓库的自动化更新。执行crontab -e添加任务，并使用/sbin/service crond reload刷新配置。

摘要由CSDN通过智能技术生成

[Author]: kwu

每日定时导入hive数据仓库的自动化脚本

创建shell脚本，创建临时表，装载数据，转换到正式的分区表中：

#!/bin/sh
# upload logs to hdfs

yesterday=`date --date='1 days ago' +%Y%m%d`

hive -e "
use stage;
create table tracklog_tmp (
dateday string,
datetime string,
ip string ,
cookieid string,
userid string,
logserverip string,
referer string,
requesturl string,
remark1 string,
remark2 string,
alexaflag string,
ua string,
wirelessflag string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ';"


hive -e "
use stage;
set hive.enforce.bucketing=true;
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;
load data local inpath '/diskg/hexunlogs/tracklog_10.0.251.146/${yesterday}/${yesterday