#!/bin/bash
#program date parameter
#V_DT=` date "+%Y-%m-%d %H"`
V_DT=`date --date="$V_DATE-1 day" +%Y%m%d`
V_DT_TWO_AGO=`date --date="$V_DATE-2 day" +%Y%m%d`
V_DT_SEVEN_AGO=`date --date="$V_DATE-7 day" +%Y%m%d`
V_DT_SEVEN_AGO_2=`date --date="$V_DATE-7 day" +%Y-%m-%d`
V_DT_SIX_AGO_2=`date --date="$V_DATE-6 day" +%Y-%m-%d`
V_DT_FIRST=`date --date="$V_DATE-1 day" +%Y%m01`
V_TODAY=`date -d $V_DATE "+%Y-%m-%d"`
V_YESTERDAY=`date --date="$V_DATE-1 day" +%Y-%m-%d`
V_DT_2AGO=`date --date="$V_DATE-2 day" +%Y%m%d`
V_MONTH=`date --date="$V_DATE-1 day" +%Y%m`
V_DT_YEAR=`date --date="$V_DATE-1 day" +%Y`
V_DT_TODAY=`date --date="$V_DATE-0 day" +%Y%m%d`
#获取上一个小时的时间
echo $V_DT
#开始时间
#begin="$V_DT:00:00"
#结束时间
#end="$V_DT:59:59"
yesterday=$V_DT_TODAY
separator='\001'
#sqoop任务运行mapreduce任务数量
task=1
#源数据表对应的hive表
hive_table_name="smile.chonggou_streaming"
username="root"
password="root"
database="dbname"
connstr="jdbc:mysql://local:3306"
table_name="tablename"
datadir="/user/hive/warehouse/qwer/"
#分区字段
key="dt"
$HADOOP_HOME/bin/hadoop fs -rmr -f $datadir
hive -e "set mapreduce.job.queuename=data_platform;alter table smile.chonggou_streaming drop partition($key='$V_DT_TODAY');"
#sqoop命令导入
$SQOOP_HOME/bin/sqoop import \
-D mapred.job.queue.name=data_platform \
--connect $connstr/$database \
--username $username \
--password $password \
--fields-terminated-by $separator \
--hive-import \
--query "SELECT * FROM $table_name WHERE timstamp >= '2019-01-28 14:00:00' AND timstamp <= '2019-01-28 14:59:59' AND \$CONDITIONS" \
--hive-table $hive_table_name \
--hive-partition-key $key \
--hive-partition-value $yesterday \
--target-dir $datadir \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-drop-import-delims \
-m 1