多线程往Oracle数据库里插入数据的优化

昨 天做了一个东西，要实现解析txt文件，然后入库的功能。开始试验了一下单线程插入，速度实在太慢了，半个小时才插入了2W多条数据，后来改用Java的 线程池启用了30个线程，并发的执行，插入100W条数据用了一个多小时。后来又对业务层的事务做了一些调整，每1000条insert之后才提交一次， 一共开了20个线程，最后100W条数据入库一共用了14分钟不到，平均一分钟7.1W条左右。 代码如下：

1. /**
   
2. * 分析Apache日志的定时任务.每天运行数次.
   
3. *
   
4. * @author <a href="mailto:HL_Qu@hotmail.com">Along</a>
   
5. *
   
6. * @version $Revision$
   
7. *
   
8. * @since 2009-2-9
   
9. */
   
10. public class ApacheLogAnalysisTask {
    
11.         /**
    
12.          * Logger for this class
    
13.          */
    
14.         private static final Log logger = LogFactory.getLog(ApacheLogAnalysisTask.class);
    
15.        
    
16.         //总线程数
    
17.         private static final int THREAD_COUNT = 20;
    
18.        
    
19.         //每个线程插入的日志数
    
20.         private static final long LOG_COUNT_PER_THREAD = 1000;
    
21.        
    
22.         //日志文件的位置
    
23.         private static final String LOG_FILE = Property.LOG_FILE_PATH + "formatLog.txt";
    
24.        
    
25.         private IObjectActionDetailService objectActionDetailService;
    
26.        
    
27. 
    
28.         public void setObjectActionDetailService(IObjectActionDetailService objectActionDetailService) {
    
29.                 this.objectActionDetailService = objectActionDetailService;
    
30.         }
    
31. 
    
32.         public void execute() {
    
33.                 this.multiAnalysisLog();
    
34.         }
    
35.        
    
36.         private void multiAnalysisLog() {
    
37.                 ExecutorService exePool = Executors.newFixedThreadPool(THREAD_COUNT);
    
38.                
    
39.                 FileReader fr = null;
    
40.                 BufferedReader br = null;
    
41.                 long beginLine = 1;
    
42.                 long endLine = 0;
    
43.                 String logFileBack = Property.LOG_FILE_PATH + "/formatLog_" + DateUtil.getSystemCurrentDate() + "_" + System.currentTimeMillis() + ".txt";
    
44.                
    
45.                 try {
    
46.                         //文件拷贝出来一个新的,并将原先的删除.
    
47.                         FileUtil.copyfile(LOG_FILE, logFileBack, true);
    
48.                         FileUtil.deleteFile(LOG_FILE);
    
49.                         System.out.println(logFileBack);
    
50.                        
    
51.                         fr = new FileReader(logFileBack);
    
52.                         br = new BufferedReader(fr);
    
53.                        
    
54.                         while ((br.readLine()) != null){
    
55.                                 endLine++;
    
56.                                
    
57.                                 //每个线程分配固定的行数
    
58.                                 if((endLine - beginLine + 1) == LOG_COUNT_PER_THREAD) {
    
59.                                         exePool.execute(new AnalysisLogTask(logFileBack, beginLine, endLine));
    
60.                                         beginLine = endLine + 1;
    
61.                                 }
    
62.                         }
    
63.                        
    
64.                         //最后一个线程
    
65.                         if (endLine > beginLine) {
    
66.                                 exePool.execute(new AnalysisLogTask(logFileBack, beginLine, endLine));
    
67.                         }
    
68. 
    
69.                 } catch (FileNotFoundException e) {
    
70.                         e.printStackTrace();
    
71.                 } catch (IOException e) {
    
72.                         e.printStackTrace();
    
73.                 } finally {
    
74.                         if (br != null) {
    
75.                                 try {
    
76.                                         br.close();
    
77.                                         br = null;
    
78.                                 } catch (IOException e) {
    
79.                                         if (logger.isErrorEnabled()) {
    
80.                                                 logger.error("run()", e);
    
81.                                         }
    
82. 
    
83.                                         e.printStackTrace();
    
84.                                 }
    
85.                         }
    
86.                        
    
87.                         if (fr != null) {
    
88.                                 try {
    
89.                                         fr.close();
    
90.                                         fr = null;
    
91.                                 } catch (IOException e) {
    
92.                                         if (logger.isErrorEnabled()) {
    
93.                                                 logger.error("run()", e);
    
94.                                         }
    
95. 
    
96.                                         e.pr