hql中获取前一天的数据_定时每天执行前一天的数据导入oracle

这是一个关于使用HQL获取前一天数据并自动化导入Oracle数据库的脚本示例。脚本首先设置日期变量,清除并创建Hive数据目录,然后替换HQL模板中的日期变量并执行,最后通过Sqoop将Hive中的数据导出到Oracle表中。
摘要由CSDN通过智能技术生成

#!/bin/bash

export LANG="en_US.UTF-8"

#设定时间变量,为前一天时间

log_date=`date +%Y-%m-%d -d "-1 days"`

#清空hive上的数据,再重建一个文件夹

hadoop dfs -rm -r /hjh/channels

hadoop dfs -mkdir /hjh/channels

#设置文件路径

curr_dir="/home/hadoop/hjh/sh/channels/runlastdaychannels/"

temdir="${curr_dir}template/"

hqlfiledir="${curr_dir}hqlfile/"

#设置hql的文件路径

importTemFile="${temdir}channels.hql"

importHqlFile="${hqlfiledir}channels_${log_date}.hql"

rm -f ${importHqlFile}

cp ${importTemFile} ${importHqlFile}

#发送hql文件到另一个文件夹

sed -i "s/__DATE_STR__/${log_date}/g" ${importHqlFile}

/opt/hive-0.13./bin/hive -f ${importHqlFile}

#把执行之后hdfs上的数据导入到oracle

/opt/sqoop-1.4.4/bin/sqoop export --table mytablename -

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值