sqoop增量将mysql数据导入到hive中

#!/bin/bash

#program date parameter
#V_DT=` date "+%Y-%m-%d %H"`
V_DT=`date --date="$V_DATE-1 day" +%Y%m%d`
V_DT_TWO_AGO=`date --date="$V_DATE-2 day" +%Y%m%d`
V_DT_SEVEN_AGO=`date --date="$V_DATE-7 day" +%Y%m%d`
V_DT_SEVEN_AGO_2=`date --date="$V_DATE-7 day" +%Y-%m-%d`
V_DT_SIX_AGO_2=`date --date="$V_DATE-6 day" +%Y-%m-%d`
V_DT_FIRST=`date --date="$V_DATE-1 day" +%Y%m01`
V_TODAY=`date -d $V_DATE "+%Y-%m-%d"`
V_YESTERDAY=`date --date="$V_DATE-1 day" +%Y-%m-%d`
V_DT_2AGO=`date --date="$V_DATE-2 day" +%Y%m%d`
V_MONTH=`date --date="$V_DATE-1 day" +%Y%m`
V_DT_YEAR=`date --date="$V_DATE-1 day" +%Y`
V_DT_TODAY=`date --date="$V_DATE-0 day" +%Y%m%d`

#获取上一个小时的时间
echo $V_DT
#开始时间
#begin="$V_DT:00:00"
#结束时间
#end="$V_DT:59:59"

yesterday=$V_DT_TODAY
separator='\001'

#sqoop任务运行mapreduce任务数量
task=1
#源数据表对应的hive表
hive_table_name="smile.chonggou_streaming"
username="root"
password="root"
database="dbname"
connstr="jdbc:mysql://local:3306"
table_name="tablename"
datadir="/user/hive/warehouse/qwer/"
#分区字段
key="dt"
$HADOOP_HOME/bin/hadoop fs -rmr -f $datadir
hive -e "set mapreduce.job.queuename=data_platform;alter table smile.chonggou_streaming drop partition($key='$V_DT_TODAY');"

#sqoop命令导入
$SQOOP_HOME/bin/sqoop import \
-D mapred.job.queue.name=data_platform \
--connect $connstr/$database \
--username $username \
--password $password \
--fields-terminated-by $separator \
--hive-import \
--query "SELECT * FROM $table_name WHERE timstamp >= '2019-01-28 14:00:00' AND timstamp <= '2019-01-28 14:59:59' AND  \$CONDITIONS"  \
--hive-table $hive_table_name \
--hive-partition-key $key \
--hive-partition-value $yesterday \
--target-dir $datadir \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-drop-import-delims \
-m 1
 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值