sqoop动态分区导入mysql,sqoop 导入数据到hive分区表（外表，内表） 指定分区 指定数据库 指定表...

sqoop 导入数据到hive

1.1.导入数据到hive分区表(内表)，指定分区

创建hive分区表

–hive-database 指定数据库

–table 指定表

–hive-overwrite 覆盖已有表中的数据

从mysql导入数据到hive，导入的hive的默认数据库

bin/sqoop import --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl123 --table xin_bang_data --hive-import --m 1

从msyql导入hive，导入到指定数据库

bin/sqoop import --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl123 --table xin_bang_data --hive-import --hive-overwrite --hive-database=tmp --m 1

导入数据到hive指定表

bin/sqoop import --connect --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl123 --table xin_bang_data --hive-import --hive-database=tmp --hive-table xin_bang_data --m 1

导入数据到hive，覆盖表中原有的数据

bin/sqoop import --connect --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl123 --table xin_bang_data --hive-import --hive-overwrite --hive-database=tmp --hive-table xin_bang_data --m 1

CREATE TABLE tmp.`xin_bang_data` (

`id` string,

`weixin_name` string,

`weixin_code` string,

`read_num` string,

`fans_num` string,

`new_index` string,

`insert_time` string

)

partitioned by(dt string)

row format delimited fields terminated by '\t';

1.2 把数据从mysql导入数据到hive分区表(内表)，指定数据导入的分区

bin/sqoop import --connect --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl --table xin_bang_data --hive-import --hive-overwrite --hive-database=tmp --hive-table xin_bang_data --m 1

bin/sqoop import --connect --connect jdbc:mysql://180.150.180.120:3306/mcd \

--username crawl \

--password crawl123 \

--table xin_bang_data \

--fields-terminated-by "\t" \

--delete-target-dir \

--hive-import \

--m 1 \

--hive-partition-key dt \

--hive-partition-value 20181117 \

--hive-database tmp \

--hive-table xin_bang_data

1.3.从mysql导入数据到hive外表

创建外表

CREATE external TABLE `YDDT` (

`ID` string,

`YDJC_ID` string,

`YDDT_DATA_TYPE` string,

`YDDT_BUSSINESS_NOW` bigint,

`YDDT_USER_NOW` bigint,

`YDDT_COLLECT_TIME` string,

`YDDT_CREATOR` string,

`YDDT_DATE` string,

`BACK` string

) PARTITIONED BY (day int) row format delimited fields terminated by '\t';

数据导入

sqoop import --connect jdbc:mysql://172.20.13.50:3306/TestBigDate --username root --password 123456 --table YDDT_2017_06_01 -m 3 --target-dir /user/hive/warehouse/dxyjpt.db/yddt/day=20170601 --fields-terminated-by '\t'

标记表的分区信息

alter table yddt add partition(day='20170601') location '/user/hive/warehouse/dxyjpt.db/yddt/day=20170601'