java load到mysql_Java不写文件，LOAD DATA LOCAL INFILE大批量导入数据到MySQL的实现

大家都知道当插入大批量数据MySQL的时候，

MySQL使用load data local infile 从文件中导入数据比insert语句要快，MySQL文档上说要快20倍左右。

但是这个方法有个缺点，就是导入数据之前，必须要有文件，也就是说从文件中导入。这样就需要去写文件，

以及文件删除等维护。某些情况下，比如数据源并发的话，还会出现写文件并发问题，很难处理。

那么有没有什么办法，可以达到同样的效率，直接从内存(IO流中)中导入数据，而不需要写文件呢？

前段时间，去MySQL社区的时候发现了这样一个方法：setLocalInfileInputStream()，此方法位于com.mysql.jdbc.PreparedStatement 类中

下面是具体实现：

通过使用 MySQL JDBC 的setLocalInfileInputStream 方法实现从java InputStream中load data local infile 到MySQL数据库中。

准备测试表

usetest;CREATE TABLE`test` (

`id`int(10) unsigned NOT NULLAUTO_INCREMENT,

`a`int(11) NOT NULL,

`b`bigint(20) unsigned NOT NULL,

`c`bigint(20) unsigned NOT NULL,

`d`int(10) unsigned NOT NULL,

`e`int(10) unsigned NOT NULL,

`f`int(10) unsigned NOT NULL,PRIMARY KEY(`id`),KEY`a_b` (`a`,`b`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

Java代码如下：

packagecom.seven.dbTools.DBTools;importjava.io.ByteArrayInputStream;importjava.io.InputStream;importjava.sql.Connection;importjava.sql.PreparedStatement;importjava.sql.SQLException;importorg.springframework.jdbc.core.JdbcTemplate;importjavax.sql.DataSource;importorg.apache.log4j.Logger;/***@authorseven

*@since07.03.2013*/

public classBulkLoadData2MySQL {private static final Logger logger = Logger.getLogger(BulkLoadData2MySQL.class);privateJdbcTemplate jdbcTemplate;private Connection conn = null;public voidsetDataSource(DataSource dataSource) {this.jdbcTemplate = newJdbcTemplate(dataSource);

}public staticInputStream getTestDataInputStream() {

StringBuilder builder= newStringBuilder();for (int i = 1; i <= 10; i++) {for (int j = 0; j <= 10000; j++) {

builder.append(4);

builder.append("\t");

builder.append(4 + 1);

builder.append("\t");

builder.append(4 + 2);

builder.append("\t");

builder.append(4 + 3);

builder.append("\t");

builder.append(4 + 4);

builder.append("\t");

builder.append(4 + 5);

builder.append("\n");

}

}byte[] bytes =builder.toString().getBytes();

InputStream is= newByteArrayInputStream(bytes);returnis;

}/***

* load bulk data from InputStream to MySQL*/

public intbulkLoadFromInputStream(String loadDataSql,

InputStream dataStream)throwsSQLException {if(dataStream==null){

logger.info("InputStream is null ,No data is imported");return 0;

}

conn=jdbcTemplate.getDataSource().getConnection();

PreparedStatement statement=conn.prepareStatement(loadDataSql);int result = 0;if (statement.isWrapperFor(com.mysql.jdbc.Statement.class)) {

com.mysql.jdbc.PreparedStatement mysqlStatement=statement

.unwrap(com.mysql.jdbc.PreparedStatement.class);

mysqlStatement.setLocalInfileInputStream(dataStream);

result=mysqlStatement.executeUpdate();

}returnresult;

}public static voidmain(String[] args) {

String testSql= "LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE test.test (a,b,c,d,e,f)";

InputStream dataStream=getTestDataInputStream();

BulkLoadData2MySQL dao= newBulkLoadData2MySQL();try{long beginTime=System.currentTimeMillis();int rows=dao.bulkLoadFromInputStream(testSql, dataStream);long endTime=System.currentTimeMillis();

logger.info("importing "+rows+" rows data into mysql and cost "+(endTime-beginTime)+" ms!");

}catch(SQLException e) {

e.printStackTrace();

}

System.exit(1);

}

}

提示：

String testSql ="LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE test.test (a,b,c,d,e,f)";

使用setLocalInfileInputStream方法，会直接忽略掉文件名称，而直接将IO流导入到数据库中。

原文：https://blog.csdn.net/seven_3306/article/details/9237495

版权声明：本文为博主原创文章，转载请附上博文链接！