多线程测试mysql的百万数据的插入效率

show variables like '%max_allowed_packet%';

抽取100万数据的主键，这是服务器缓存32M

我的业务库是4M

场景从服务器抽一百万数据主键，插入业务库，五个字段

 

 

 

 

 

SELECT COUNT(*) FROM adqm_label_report_example_detail;
  truncate TABLE  adqm_label_report_example_detail;
 
  SELECT COUNT(*) FROM adqm_label_report_example_detail;

总结

多线程插入样例数据，实测样例表在1000万的数内，
100万的数据插入只要30秒（单线程需要1分半），每次6000条数据分批插入（根据每条sql的数据大小计算，我的6000大概是0.6M，有最佳效率，多了少了都有影响），组装100万业务数据只要3秒不到
数据堆积到1000-2000万，平均需要1分钟 ，

看后台mysql的写入磁盘可以达到6M每秒，这里多线程插入的是同一张表所以是排队等待的，我的表是自增主键还带有一个索引