海量数据插入数据库的快速方案

最新推荐文章于 2024-07-04 13:32:42 发布

君莫笑丶一叶知秋

最新推荐文章于 2024-07-04 13:32:42 发布

阅读量2.5k

点赞数

文章标签：海量数据

本文链接：https://blog.csdn.net/u011624972/article/details/50750498

版权

本文介绍了两种快速将海量数据导入数据库的方法：1）使用JDBC批处理，通过设置合适的批处理大小和提交间隔，实现100W条数据在10秒内的导入；2）利用`LOAD DATA INFILE` SQL语句直接读取日志文件，避免解析步骤。两种方法效果接近，但注意驱动版本和SQL参数设置。

摘要由CSDN通过智能技术生成

在我们开发项目过程中，一般都会遇到大批量的数据导入。比如根据订购日志来生成订购记录。经过查询资料发现了2种比较快速的方法：

方法一需要对日志文件做解析出来的。

public class JDBCMoreQuick {
private static String JDBC_URL = "jdbc:mysql://127.0.0.1:3306/test";
private static String JDBC_USER = "root";
private static String JDBC_PASS = "root";
private static int COUNT = 10000000;
private static int BATCH_SIZE = 1000;
private static int COMMIT_SIZE = 50000;
private static String DATA = "test";

public static void main(String[] args) throws ClassNotFoundException,
SQLException {
long start = System.currentTimeMillis();
Class.forName("com.mysql.jdbc.Driver");
Connection