Java千万数据导入mysql_java之5分钟插入千万条数据

本文介绍了一种Java批量插入MySQL数据的高效方法,通过设置线程池和批量提交,实现了在10分钟内完成千万条数据的插入。代码示例展示了如何使用MyBatis进行批量插入操作,对比了不同插入方式的效率,并提供了完整的关键实现代码。
摘要由CSDN通过智能技术生成

虽说不一定5分钟就插入完毕,因为取决去所插入的字段,如果字段过多会稍微慢点,但不至于太慢。10分钟内基本能看到结果。

之前我尝试用多线程来实现数据插入(百万条数据),半个多小时才二十多万条数据。

线程池数据插入核心代码:

ExecutorService executorService = Executors.newFixedThreadPool();

executorService.submit(new Runnable() {

@Override

public void run() {

for (int i = ; i < ; i++) {

TestUser user = new TestUser();

user.setName(RandomUtil.randomString());

userDao.insert(user);

System.out.println("插入数据:" + i);

}

System.out.println(Thread.currentThread().getName() + "正在执行任务");

}

});

应用场景:

造测试数据,如千万甚至亿万级别的数据自动快速生成。

关键核心实现类代码如下:

long startTime = System.currentTimeMillis();

try {

for (int i = ; i < ; i++) {

List users = new A

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值