Hive和MySQL数据互导

用Sqoop进行Hive和MySQL之间的数据互导

Hive导数据入MySQL

创建mysql表

use anticheat;
create table anticheat_blacklist(
userid varchar(30) primary key ,
dt int,
update_time timestamp,
delete_flag int,
operator varchar(30)
);

全量导出

用sqoop export全量导出hive表数据入mysql,具体命令如下：

sqoop export -D mapred.job.queue.name=datacenter 
--connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=false 
--username root 
--password ^qn9DFYPm  
--table anticheat_blacklist 
--input-fields-terminated-by '\t' 
--input-null-string '\\N'  
--input-null-non-string '\\N' 
--num-mappers 10  
--export-dir hdfs://dc5/user/test/hive/online/anticheat_blacklist_mysql

增量导出

sqoop export -D mapred.job.queue.name=datacenter 
--connect jdbc:mysql://localhost:3306/anticheat?tinyInt1isBit=false 
--u