sqoop从关系型数据中导数据指定相应的队列

最新推荐文章于 2023-07-17 10:16:59 发布

zfq-0314

最新推荐文章于 2023-07-17 10:16:59 发布

阅读量946

点赞数

本文链接：https://blog.csdn.net/zfqsmn1126/article/details/114935596

版权

#!/bin/bash
   
if [ -n "$2" ] ;then
    do_date=$2
else
    do_date=`date -d '-1 day' +%F`
fi
db_name=ztdata_sync.[dbo]
sqoop=/data/program/sqoop-1.4.6/bin/sqoop

import_data() {
$sqoop import -D mapred.job.queue.name=hive \
--driver com.microsoft.sqlserver.jdbc.SQLServerDriver \
--connect "jdbc:sqlserver://xx.xx.xx.xx:1433;username=sa;password=xxxx;database=xxx" \
--fields-terminated-by "\t" \
--delete-target-dir \
--null-string '\\N' \
--null-non-string '\\N' \
--target-dir /ztdata_import/$1/$do_date \
--delete-target-dir \
--num-mappers 1 \
--compress \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec \
--fields-terminated-by "\t" \
--query "$2"' and  $CONDITIONS;'
}
import_123B(){
import_data "123B" " select * FROM [123B] where 1=1 "
}