背景
数据分析中使用到运营人员手工加工的一份数据,通过数据工具创建了能使用7天的临时表,并把数据导入,但这份数据每周都会变,历史数据需要保存下来使用,所以需要从临时表中把数据同步到ods层永久保存。
从网上找了份代码依葫芦画瓢进行修改,对方是一个问答式的网页,这里就不贴链接了,在此谢谢「Ale*_*thy」网友的答案。
声明:本人非技术,所有操作都是通过现有的数据工具平台实现。话不多说,上代码
实现代码
我们的临时表是放在临时空间(tmp)里,我们也叫临时库中。
实现逻辑是,每天定时去扫一遍临时库,当指定的临时表存在时,执行数据同步脚本,不存在时啥也不干。
tableName=tmp_some_tame
validateTable=$(hive --database tmp -e "SHOW TABLES LIKE '$tableName'")
if [[ -z $validateTable ]]; then
echo "$tableName 表不存在,任务结束"
exit 1
else
hive -f some_tame_sync.hql
fi
说明:
- tableName:导入数据的临时表名称,也就是需要查找的表名称
- hive --database tmp -e “SHOW TABLES LIKE ‘$tableName’” 这是一条在shell中执行hive查出的命令,–database后面跟的是数据库名称(或者空间名称)
- some_tame_sync.hql 存放的是具体数据的查询SQL代码