mysql 控制每次批量插入5w条记录思路

http://blog.csdn.net/jianjun4833/article/details/71170113

由于业务中使用到word分词,所以数据量比较大,需要把分出来的结果插入到数据库,每次插入1条的话,非常慢,所以使用批量插入

具体思路如下:

[java]  view plain  copy

1. <span style="white-space:pre">          </span>long start=System.currentTimeMillis();  
2. <span style="white-space:pre">          </span>if(keyWordList!=null&&!keyWordList.isEmpty()){  
3. <span style="white-space:pre">              </span>//最终插入的条数  
4. <span style="white-space:pre">              </span>Integer effectRow = 0;  
5. <span style="white-space:pre">              </span>//总共需要插入的条数  
6. <span style="white-space:pre">              </span>int totalNum=keyWordList.size();  
7. <span style="white-space:pre">              </span>System.out.println("keyWordList总长度:"+totalNum);  
8. <span style="white-space:pre">              </span>//每次插入的条数  
9. <span style="white-space:pre">              </span>int onceNum=50000;  
10. <span style="white-space:pre">              </span>for(int i=onceNum;i<totalNum;i+=onceNum){  
11. <span style="white-space:pre">                  </span>effectRow += keyWordService.insertBatch(keyWordList.subList(i-onceNum, i));  
12. <span style="white-space:pre">                  </span>System.out.println("循环次数:"+i);  
13. <span style="white-space:pre">              </span>}  
14. <span style="white-space:pre">              </span>effectRow += keyWordService.insertBatch(keyWordList.subList(totalNum/onceNum*onceNum, totalNum));  
15. <span style="white-space:pre">              </span>long end=System.currentTimeMillis();  
16. <span style="white-space:pre">              </span>System.out.println("成功插入关键词:"+effectRow+";所用时间:"+(end-start)/1000+"秒");  
17. <span style="white-space:pre">          </span>}  

优化后的结果很明显:

keyWordList总长度:96221
循环次数:50000
成功插入关键词:96221;所用时间:4秒
keyWordList总长度:38314
成功插入关键词:38314;所用时间:1秒
keyWordList总长度:161874
循环次数:50000
循环次数:100000
循环次数:150000
成功插入关键词:161874;所用时间:6秒

各位高人如有其他好的方法可以一起探讨