Java向mysql批量存储数据_java大批量数据导入（MySQL）

© 版权声明：本文为博主原创文章，转载请注明出处

最近同事碰到大批量数据导入问题，因此也关注了一下。大批量数据导入主要存在两点问题：内存溢出和导入速率慢。

内存溢出：将文件中的数据全部取出放在集合中，当数据过多时就出现Java内存溢出，此时可通过调大JVM的最大可用内存(Xmx)解决，

但终究不是王道。

MySQL支持一条SQL语句插入多条记录的操作，并且效率比单条插入快的不是一点点；但是MySQL一次可接受的数据包大小

也是有限制的，当一次插入过多时也可能造成数据包内存溢出，此时可通过调大MySQL的max_allowed_packet 解决，

但也不是王道。

导入速率慢：单条插入就不用考虑了，因此考虑一条SQL语句插入多条记录，

根据上述所说还应控制好一条插入的数据大小不能超过max_allowed_packet 的配置。

下面比较了用PreparedStatement和直接拼接SQL两种批量插入的方式的速率(一次插入1w条)

package org.javaio.CSV;

import java.io.BufferedReader;

import java.io.FileInputStream;

import java.io.InputStreamReader;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.text.SimpleDateFormat;

import java.util.Date;

import com.mysql.jdbc.Connection;

/**

* 导入大批量CSV文件

*

*/

public class Test {

/**

* jdbc所属，暂不使用

*/

private final static String url = "jdbc:mysql://localhost:3306/demo_test?useSSL=true&characterEncoding=utf8";

private final static String name = "root";

private final static String pwd = "20121221";

private static Connection conn;

private static PreparedStatement ps;

/**

* 解析csv文件并插入到数据库中，暂不使用(jdbc)

*

* @param args

*

* @throws Exception

*/

public static void main(String[] args) throws Exception {

Test test = new Test();

// psBatch 时间统计 - 开始

SimpleDateFormat s