解决sqoop导入关系库更新联合主键的问题

[Author]: kwu 

解决sqoop导入关系库更新联合主键的问题，把数据从hive中导入关系库，假设关系库表有联合主键的情况。且须要把新导入的数据更新原来的数据。

下面提供參考的演示样例：

1、创建关系库表

CREATE TABLE
test123
(
id INT NOT NULL,
name VARCHAR(25) NOT NULL,
age INT,
PRIMARY KEY (id, name)
)
ENGINE=MyISAM DEFAULT CHARSET=utf8

2、创建hive表

drop table default.test123;
create table default.test123
(
   id int,
   name                string,
   age                  int
)
ROW FORMAT DELIMITED fields terminated by '\t'
STORED AS TEXTFILE;

导入測试数据：

insert overwrite table default.test123 select 1,'bill',5 from default.kwu_test limit 1;

3、sqoop导入mysql数据库

 sqoop export  --connect jdbc:mysql://10.130.2.245:3306/test --update-key "id,name" --update-mode allowinsert  --username kwu  --password '123456'  --table test123  --fields-terminated-by '\t' --columns "id,name,age" --export-dir /hive/warehouse/test123

说明： 

1)  -update-key 指定联合主键的值

2)  --update-mode allowinsert 指定更新的模式为可插入，默觉得 updateonly

改动測试数据：

insert overwrite table default.test123 select 1,'bill',6 from default.kwu_test limit 1;

查看mysql数据库中age已经改动为6.

转载于:https://www.cnblogs.com/jzdwajue/p/6847952.html