sqoop导出数据

#!/bin/bash
db_name=testdb
sqoop=/opt/module/sqoop/bin/sqoop


#非空校验日期，就是看你外面有没有传入值
if [ -n "$2" ] ;then
    do_date=`date -d $2 +'%Y%m%d'`
else
    do_date=`date -d '-1 day' +'%Y%m%d'`
fi

table_name=$1
target_dir=/hadoop_home/tmp_file/testdb/test

###############################以上都是参数准备###############################
echo "do_date = $do_date"
echo "target_dir = $target_dir"

#声明公共导数据函数，这个函数需要传一个参数，这个参数是一个SQL语句
import_data(){
"$sqoop" import \
--connect jdbc:mysql://ip:3306/$db_name?zeroDateTimeBehavior=convertToNull \
--username test \
--password 123456 \
--query "$1 AND \$CONDITIONS " \
--target-dir $target_dir \
--delete-target-dir \
--fields-terminated-by '|' \
--hive-drop-import-delims \
--num-mappers 1 \
--null-string '\\N'  \
--null-non-string '\\N'  \
--outdir /tmp/sqoop
}

#开始根据不同的表对公共函数进行封装,函数中$1和$2只是函数内部的临时参数
import_ob_insurance_comp(){
    import_data "SELECT \`endtime\`, \`engine_type\`, \`factory_plate\`, \`id\`, \`insurance_company\`, \`insurance_number\`, \`insured_name\`, \`license_number\`, \`net_premium\`, \`policy_holder\`, \`policy_number\`, \`rebates\`, \`starttime\`, \`tax_premium\`, \`vin\`, date_format(now(), '%Y-%m-%d %H:%i:%s') as etl_time
FROM \`$table_name\` where 1=1"
}

case $1 in
    "test")
    import_ob_insurance_comp
    ;;
esac

--hive-drop-import-delims  作用是去除导出数据中的换行符