大家都知道当插入大批量数据MySQL的时候,
MySQL使用load data local infile 从文件中导入数据比insert语句要快,MySQL文档上说要快20倍左右。
但是这个方法有个缺点,就是导入数据之前,必须要有文件,也就是说从文件中导入。这样就需要去写文件,
以及文件删除等维护。某些情况下,比如数据源并发的话,还会出现写文件并发问题,很难处理。
那么有没有什么办法,可以达到同样的效率,直接从内存(IO流中)中导入数据,而不需要写文件呢?
前段时间,去MySQL社区的时候发现了这样一个方法:setLocalInfileInputStream(),此方法位于com.mysql.jdbc.PreparedStatement 类中
下面是具体实现:
通过使用 MySQL JDBC 的setLocalInfileInputStream 方法实现从java InputStream中load data local infile 到MySQL数据库中。
准备测试表
usetest;CREATE TABLE`test` (
`id`int(10) unsigned NOT NULLAUTO_INCREMENT,
`a`int(11) NOT NULL,
`b`bigint(20) unsigned NOT NULL,
`c`bigint(20) unsigned NOT NULL,
`d`int(10) unsigned NOT NULL,
`e`int(10) unsigned NOT NULL,
`f`int(10) unsigned NOT NULL,PRIMARY KEY(`id`),KEY`a_b` (`a`,`b`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
Java代码如下:
packagecom.seven.dbTools.DBTools;importjava.io.ByteArrayInputStream;importjava.io.InputStream;importjava.sql.Connection;importjava.sql.PreparedStatement;importjava.sql.SQLException;importorg.springframework.jdbc.core.JdbcTemplate;importjavax.sql.DataSource;importorg.apache.log4j.Logger;/***@authorseven
*@since07.03.2013*/
public classBulkLoadData2MySQL {private static final Logger logger = Logger.getLogger(BulkLoadData2MySQL.class);privateJdbcTemplate jdbcTemplate;private Connection conn = null;public voidsetDataSource(DataSource dataSource) {this.jdbcTemplate = newJdbcTemplate(dataSource);
}public staticInputStream getTestDataInputStream() {
StringBuilder builder= newStringBuilder();for (int i = 1; i <= 10; i++) {for (int j = 0; j <= 10000; j++) {
builder.append(4);
builder.append("\t");
builder.append(4 + 1);
builder.append("\t");
builder.append(4 + 2);
builder.append("\t");
builder.append(4 + 3);
builder.append("\t");
builder.append(4 + 4);
builder.append("\t");
builder.append(4 + 5);
builder.append("\n");
}
}byte[] bytes =builder.toString().getBytes();
InputStream is= newByteArrayInputStream(bytes);returnis;
}/***
* load bulk data from InputStream to MySQL*/
public intbulkLoadFromInputStream(String loadDataSql,
InputStream dataStream)throwsSQLException {if(dataStream==null){
logger.info("InputStream is null ,No data is imported");return 0;
}
conn=jdbcTemplate.getDataSource().getConnection();
PreparedStatement statement=conn.prepareStatement(loadDataSql);int result = 0;if (statement.isWrapperFor(com.mysql.jdbc.Statement.class)) {
com.mysql.jdbc.PreparedStatement mysqlStatement=statement
.unwrap(com.mysql.jdbc.PreparedStatement.class);
mysqlStatement.setLocalInfileInputStream(dataStream);
result=mysqlStatement.executeUpdate();
}returnresult;
}public static voidmain(String[] args) {
String testSql= "LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE test.test (a,b,c,d,e,f)";
InputStream dataStream=getTestDataInputStream();
BulkLoadData2MySQL dao= newBulkLoadData2MySQL();try{long beginTime=System.currentTimeMillis();int rows=dao.bulkLoadFromInputStream(testSql, dataStream);long endTime=System.currentTimeMillis();
logger.info("importing "+rows+" rows data into mysql and cost "+(endTime-beginTime)+" ms!");
}catch(SQLException e) {
e.printStackTrace();
}
System.exit(1);
}
}
提示:
String testSql ="LOAD DATA LOCAL INFILE 'sql.csv' IGNORE INTO TABLE test.test (a,b,c,d,e,f)";
使用setLocalInfileInputStream方法,会直接忽略掉文件名称,而直接将IO流导入到数据库中。
原文:https://blog.csdn.net/seven_3306/article/details/9237495
版权声明:本文为博主原创文章,转载请附上博文链接!