java读取txt文件入库_java读取txt文件批量入库

最近需要将四个txt文件将近两千万的的数据从txt中读出并进行相应的处理入到数据库中，在实际操作中发现PreparedStatement的批处理方法和非处理方法效率相差极大，批量提交其中一个八百万的文本不到五分钟就入库完毕，非批量提交的方法需要两个多小时，在选择批量处理的方法时，遇到了java.lang.OutOfMemoryError: Java heap space问题，刚开始以为myeclipse内存设置太小，修改后问题还是没有解决，最后发现是一次性向命令列表中添加数量过多的sql语句, 造成outOfMemory错误.故修改为每次提交后需调用clearBatch()方法进行清空。通过处理这个问题，感觉以后解决问题，不能太着急了，解决问题的思路决定了你所做的工作，前期花费一些时间选择一个最优的方法能够节省大量的时间。

参考代码如下：

import java.io.BufferedReader;

import java.io.File;

import java.io.FileInputStream;

import java.io.InputStreamReader;

import java.sql.Connection;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

import fhs.dao.DataAccess;

public class CopyOfReadTxtUtilsYff {

public static void main(String arg[]) {

DataAccess da=null;<