sqoop连接hive和mysql_用Sqoop进行Hive和MySQL之间的数据互导

Hive导数据入MySQL

创建mysql表

use anticheat;

create table anticheat_blacklist(

userid varchar(30) primary key ,

dt int,

update_time timestamp,

delete_flag int,

operator varchar(30)

);

全量导出

用sqoop export全量导出hive表数据入mysql,具体命令如下：

sqoop export -D mapred.job.queue.name=datacenter

--connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=false

--username root

--password ^qn9DFYPm

--table anticheat_blacklist

--input-fields-terminated-by '\t'

--input-null-string '\\N'

--input-null-non-string '\\N'

--num-mappers 10

--export-dir hdfs://dc5/user/test/hive/online/anticheat_blacklist_mysql

增量导出

sqoop export -D mapred.job.queue.name=datacenter

--connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=fals