MySQL通过导出csv的方式将数据同步到hive

备注:

测试版本MySQL 5.6

一.将mysql的表导出到csv

-- mysql端导出到csv文件
mysql [my_db]> select * from tab1 limit 1000 into outfile "/data/csv/tab1_20201224.csv";
Query OK, 1000 rows affected (0.00 sec)

-- scp到hadoop所在服务器
[root@my_db csv]# scp ./ tab1_20201224.csv root@10.31.1.123:/home/csv/

hive端创建表:
分隔符‘\t’ 代表空格，mysql默认导出的是csv文件是以空格为分隔符的

CREATE TABLE ` tab1`(
  `id` int, 
  `messagecontent` string, 
  `messagedate` string, 
  `phone` string, 
  `userid` int, 
  `ishit` int, 
  `create_time` string)
row format delimited fields terminated by '\t' stored as textfile;

load data 是真的快

LOAD DATA LOCAL INPATH '/home/csv/ tab1_20201224.csv' into table  tab1;