Sqoop导出shell脚本

Sqoop对hive进行导出到mysql的shell脚本

1.表准备

--mysql表

CREATE TABLE src_sc(

`sid` int ,

`cid` int ,

`gd` int

) COMMENT = 'src_sc'

；

CREATE TABLE src_sc_d(

`sid` int ,

`cid` int ,

`gd` int

) COMMENT = 'src_sc'

；

--非分区表

CREATE TABLE src.src_sc (

`sid` int ,

`cid` int ,

`gd` int

) COMMENT 'sc'

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS textfile;

--分区表

drop table src.src_sc_d;

CREATE TABLE src.src_sc_d (

`sid` int ,

`cid` int ,

`gd` int

) COMMENT 'sc'

PARTITIONED BY (etl_date STRING COMMENT 'etl_日期')

ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001'

lines terminated by '\n'

STORED AS textfile;

2.shell脚本导出

2.1.非分区表导出脚本

#!/bin/bash

#######非分区表导出#######

#sqoop的地址的bin/sqoop

sqoop_home=/opt/links/sqoop/bin/sqoop

#mysql的连接

connect=jdbc:mysql://hlm03:8021/bfd

#用户名

username=root

#密码

password=root

#mysql表名

table=src_sc

#列分割符

fields_terminated_by="\001"

#hive表的数据地址

export_dir=/user/hive/warehouse/src.db/src_sc

export_data() {

$sqoop_home export \

--connect $connect \

--username $username \

--password $password \

--table $table \

--fields-terminated-by "$fields_terminated_by" \

--num-mappers 1 \

--columns sid,cid,gd \

--export-dir $export_dir \

--input-null-string '\\N' \

--input-null-non-string '\\N'

}

export_data

2.2.分区表接入脚本

#!/bin/bash

#######分区表导出#######

#etl_date=2022-05-09

#获取昨日日期

etl_date=$(date -d"1 day ago" +%Y-%m-%d)

#sqoop的地址的bin/sqoop

sqoop_home=/opt/links/sqoop/bin/sqoop

#mysql的连接

connect=jdbc:mysql://hlm03:8021/bfd

#用户名

username=root

#密码

password=root

#mysql表名

table=src_sc_d

#列分割符

fields_terminated_by="\001"

#分区字段

hive_partition_key=etl_date

#分区值

hive_partition_value=$etl_date

#hive表的数据地址

export_dir=/user/hive/warehouse/src.db/src_sc_d/$hive_partition_key=$hive_partition_value

export_data() {

$sqoop_home export \

--connect $connect \

--username $username \

--password $password \

--table $table \

--fields-terminated-by "$fields_terminated_by" \

--num-mappers 1 \

--columns sid,cid,gd \

--export-dir $export_dir \

--input-null-string '\\N' \

--input-null-non-string '\\N'

}

export_data