datax导入MySQL报错_导入MySQL方法对比

使用datax导入

1、使用自增id

记录数

耗时(秒)

TPS

4248882

347

12244

33404813

4038

8272

2、不使用自增id，使用雪花算法生成id后导入

记录数

耗时(秒)

TPS

4248882

680

6248

33404813

6555

5096

使用MySQL命令load导入

1、csv带雪花id

> select * from l_wish_log_snow_copy into outfile '/data2/l_wish_log_snow.csv' fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

> load data infile '/data2/l_wish_log_snow.csv' into table l_wish_log_snow fields terminated by '\t' optionally enclosed by '"' lines terminated by '\n';

记录数

耗时(秒)

TPS

4248882

81

52,455

2、自增主键id，load命令

先删除上个步骤中导出的雪花id

> awk -F'\t' '