java向mysql数据库批量插入大量数据

本文介绍了如何使用Java向MySQL数据库批量插入10000条数据,通过比较JPA单线程、多线程执行和传统JDBC的方式,发现JDBC在性能上显著优于JPA,尤其是在多线程情况下,JPA并未带来预期的性能提升,而JDBC仅用8秒即完成插入。最后确认所有数据成功存储,无丢失。
摘要由CSDN通过智能技术生成

首先看下我们的目标:向mysql数据库中批量插入10000条数据

操作环境:Mysql和Java代码都运行在我本地Windows电脑(i7处理器,4核,16G运行内存,64位操作系统

1、JPA单线程执行

代码省略,大概需要39S左右

2、JPA多线程执行 

大概需要37S左右,并没有想象中的快很多

原因: 多线程只是大大提高了程序处理数据的时间,并不会提高插入数据库的时间,相反在我这边JPA的框架下,多线程也就意味着多连接,反而更加消耗数据库性能

package com.example.demo.controller;

 

import com.example.demo.entity.Student;

import com.example.demo.service.StudentServiceInterface;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.web.bind.annotation.GetMapping;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.RestController;

 

import javax.xml.bind.ValidationException;

import java.util.ArrayList;

import java.util.Date;

import java.util.List;

import java.util.concurrent.CountDownLatch;

import java.util.concurrent.ExecutorService;

import java.util.concurrent.Executors;

 

@RestController

@RequestMapping("/student")

public class StudentController {

 

    @Autowired

    private Stud
想要JavaMySQL批量存储数据,可以通过以下步骤实现: 1. 创建MySQL数据库和表,确保表中的字段与Java数据对象的属性一一对应。 2. 在Java中,使用JDBC连接MySQL数据库。 3. 使用PreparedStatement对象预编译SQL语句,例如: ``` String sql = "INSERT INTO table_name (column1, column2, column3) VALUES (?, ?, ?)"; PreparedStatement statement = connection.prepareStatement(sql); ``` 4. 创建一个List,将需要插入的数据对象添加到List中。 5. 循环遍历List,对于每个数据对象,使用PreparedStatement设置参数,最后将PreparedStatement添加到批处理中,例如: ``` for (DataObject data : dataList) { statement.setString(1, data.getProperty1()); statement.setInt(2, data.getProperty2()); statement.setDouble(3, data.getProperty3()); statement.addBatch(); } ``` 6. 执行批处理,将数据批量插入MySQL中,例如: ``` int[] result = statement.executeBatch(); ``` 完整的Java代码示例: ``` String sql = "INSERT INTO table_name (column1, column2, column3) VALUES (?, ?, ?)"; PreparedStatement statement = connection.prepareStatement(sql); List<DataObject> dataList = getDataList(); for (DataObject data : dataList) { statement.setString(1, data.getProperty1()); statement.setInt(2, data.getProperty2()); statement.setDouble(3, data.getProperty3()); statement.addBatch(); } int[] result = statement.executeBatch(); ``` 注意事项: - 执行批处理前,需要关闭自动提交模式,即使用`connection.setAutoCommit(false)`。 - 执行完批处理后,需要手动提交事务,即使用`connection.commit()`。 - 执行批处理前,建议先关闭索引,执行完成后再重新开启索引,可以提高插入效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

倾听铃的声

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值