JDBC+MySQL高效插入百万条数据笔记

最新推荐文章于 2023-09-30 13:22:32 发布
最新推荐文章于 2023-09-30 13:22:32 发布
阅读量334 收藏 1
点赞数
分类专栏： Java MySQL 文章标签： mysql 数据库 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40623672/article/details/128424029
版权
Java 同时被 2 个专栏收录
15 篇文章 3 订阅
订阅专栏
MySQL
8 篇文章 1 订阅
订阅专栏

首先写好jdbc连接mysql工具

private String Driver = "com.mysql.cj.jdbc.Driver";
    private String url ="jdbc:mysql://localhost:3306/mp?serverTimezone=Asia/Shanghai&rewriteBatchedStatements=true";
    private String user = "root";
    private String password = "root";
    Connection connection = null;
    PreparedStatement ps = null;
    ResultSet rs = null;
    //封装与数据库建立连接的类
    public void coon() throws Exception{
        Class.forName(Driver);
        connection = DriverManager.getConnection(url,user,password);
    }
    //封装异常类
    public void erro(){
        try {
            if (rs!=null){
                rs.close();
            }
            if (ps!=null){
                ps.close();
            }
            if (connection!=null){
                connection.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

(1)常规操作插入数据

import org.junit.Test;
 
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

public class TestAddBatch01 {
    private String Driver = "com.mysql.cj.jdbc.Driver";
    private String url ="jdbc:mysql://localhost:3306/mp?serverTimezone=Asia/Shanghai";
    private String user = "root";
    private String password = "root";
    Connection connection = null;
    PreparedStatement ps = null;
    ResultSet rs = null;
    public void coon() throws Exception{
        Class.forName(Driver);
        connection = DriverManager.getConnection(url,user,password);
    }
    public void erro(){
        try {
            if (rs!=null){
                rs.close();
            }
            if (ps!=null){
                ps.close();
            }
            if (connection!=null){
                connection.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
    @Test
    public void ccc(){
        long start = System.currentTimeMillis();
        String sql = "insert into a(id, name) VALUES (?,null)";
        try {
            coon();
            ps = connection.prepareStatement(sql);
            for (int i = 1; i <= 1000000; i++) {
                ps.setObject(1, i);//填充sql语句种得占位符
                ps.execute();//执行sql语句
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            erro();
        }
        System.out.println("百万条数据插入用时：" + (System.currentTimeMillis() - start)+"【单位：毫秒】");
    }
}

用时：62分钟多：
在这里插入图片描述
(2)使用批处理插入

import org.junit.Test;
 
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

public class TestAddBatch {
    private String Driver = "com.mysql.cj.jdbc.Driver";
    private String url ="jdbc:mysql://localhost:3306/mp?serverTimezone=Asia/Shanghai";
    private String user = "root";
    private String password = "root";
    Connection connection = null;
    PreparedStatement ps = null;
    ResultSet rs = null;
    public void coon() throws Exception{
        Class.forName(Driver);
        connection = DriverManager.getConnection(url,user,password);
    }
    public void erro(){
        try {
            if (rs!=null){
                rs.close();
            }
            if (ps!=null){
                ps.close();
            }
            if (connection!=null){
                connection.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
    @Test
    public void ccc(){
        long start = System.currentTimeMillis();
        String sql = "insert into a(id, name) VALUES (?,null)";
        try {
            coon();
            ps = connection.prepareStatement(sql);
//            connection.setAutoCommit(false);//取消自动提交
            for (int i = 1; i <= 1000000; i++) {
                ps.setObject(1, i);
                ps.addBatch();
 
                if (i % 1000 == 0) {
                    ps.executeBatch();
                    ps.clearBatch();
                }
            }
            ps.executeBatch();
            ps.clearBatch();
//            connection.commit();//所有语句都执行完毕后才手动提交sql语句
 
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            erro();
        }
        System.out.println("百万条数据插入用时：" + (System.currentTimeMillis() - start)+"【单位：毫秒】");
 
    }
}

此时可以看出其实其处理程序及批处理是没有起作用的，通过连接配置url设置[&rewriteBatchedStatements=true]（设置重写批处理语句）
url地址后注意添加[&rewriteBatchedStatements=true]

private String url ="jdbc:mysql://localhost:3306/mp?serverTimezone=Asia/Shanghai&rewriteBatchedStatements=true";

(3)即将上面的批处理代码的url做出调整：

import org.junit.Test;
 
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

public class TestAddBatch {
    private String Driver = "com.mysql.cj.jdbc.Driver";
    private String url ="jdbc:mysql://localhost:3306/mp?serverTimezone=Asia/Shanghai&rewriteBatchedStatements=true";
    private String user = "root";
    private String password = "root";
    Connection connection = null;
    PreparedStatement ps = null;
    ResultSet rs = null;
    public void coon() throws Exception{
        Class.forName(Driver);
        connection = DriverManager.getConnection(url,user,password);
    }
    public void erro(){
        try {
            if (rs!=null){
                rs.close();
            }
            if (ps!=null){
                ps.close();
            }
            if (connection!=null){
                connection.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
    @Test
    public void ccc(){
        long start = System.currentTimeMillis();
        String sql = "insert into a(id, name) VALUES (?,null)";
        try {
            coon();
            ps = connection.prepareStatement(sql);
            for (int i = 1; i <= 1000000; i++) {
                ps.setObject(1, i);
                ps.addBatch();
 
                if (i % 1000 == 0) {
                    ps.executeBatch();
                    ps.clearBatch();
                }
            }
            ps.executeBatch();
            ps.clearBatch();
 
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            erro();
        }
        System.out.println("百万条数据插入用时：" + (System.currentTimeMillis() - start)+"【单位：毫秒】");
 
    }
}

用时：10秒左右：
在这里插入图片描述
到此批处理语句才正是生效
注意：
数据库连接的url设置了【&rewriteBatchedStatements=true】时，java代码种的sql语句不能有分号【;】号，否则批处理语句打包就会出现错误，导致后面的sql语句提交出现【BatchUpdateException】异常，若使用mybatis则不用考虑这个问题；

(4)最后，通过数据库连接取消自动提交，手动提交数据，也能提高效率：

import org.junit.Test;
 
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;

public class TestAddBatch {
    private String Driver = "com.mysql.cj.jdbc.Driver";
    private String url ="jdbc:mysql://localhost:3306/mp?serverTimezone=Asia/Shanghai&rewriteBatchedStatements=true";
    private String user = "root";
    private String password = "root";
    Connection connection = null;
    PreparedStatement ps = null;
    ResultSet rs = null;
    public void coon() throws Exception{
        Class.forName(Driver);
        connection = DriverManager.getConnection(url,user,password);
    }
    public void erro(){
        try {
            if (rs!=null){
                rs.close();
            }
            if (ps!=null){
                ps.close();
            }
            if (connection!=null){
                connection.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
 
    @Test
    public void ccc(){
        long start = System.currentTimeMillis();
        String sql = "insert into a(id, name) VALUES (?,null)";
        try {
            coon();
            ps = connection.prepareStatement(sql);
            connection.setAutoCommit(false);//取消自动提交
            for (int i = 1; i <= 1000000; i++) {
                ps.setObject(1, i);
                ps.addBatch();
 
                if (i % 1000 == 0) {
                    ps.executeBatch();
                    ps.clearBatch();
                }
            }
            ps.executeBatch();
            ps.clearBatch();
            connection.commit();//所有语句都执行完毕后才手动提交sql语句
 
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            erro();
        }
        System.out.println("百万条数据插入用时：" + (System.currentTimeMillis() - start)+"【单位：毫秒】");
 
    }
}

用时：9秒左右：
在这里插入图片描述
1.使用批量提交数据，url一定要设置允许重写批量提交【rewriteBatchedStatements=true】，以及此时的sql语句一定不能有分号，否则有【BatchUpdateException】异常，
2.其他的就正常使用PreparedStatement ps;的以下三个方法即可
ps.addBatch(); 将sql语句打包到一个容器中
ps.executeBatch(); 将容器中的sql语句提交
ps.clearBatch(); 清空容器，为下一次打包做准备

容若只如初见
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
mysql快速导入百万级千万级数据.zip
03-15
mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据 mysql快速导入百万级千万级数据
MySQL十秒插入百万条数据
热门推荐
莫绝岚的小屋
11-14 2万+
mysql 十秒快速插入百万条数据 用时：62分钟多 方式一、二总结：到此可以看出其实其处理程序及批处理是没有起作用的，为此我们使用方式三 方法三较于方法二的改变是只是url地址上的改变，其它没有任何修改 用时：【10秒左右】
[图解MySQL]MySQL组提交(group commit)
weixin_34272308的博客
07-24 193
2019独角兽企业重金招聘Python工程师标准>>> ...
教你如何6秒钟往MySQL插入100万条数据
每天一个前端小知识~
08-24 1万+
一、思路 往MySQL中插入1000000条数据只花了6秒钟！ 关键点： 1.使用PreparedStatement对象 2.rewriteBatchedStatements=true 开启批量插入，插入只执行一次，所有插入比较快。 二、 代码 package test0823.demo1; import java.sql.*; /** * @author : Bei-Zhen * @date : 2020-08-24 0:43 */ public class JDBC2 { //s
mysql本地导入数据（可导入百万条数据）
jack__love的博客
10-26 5346
mysql本地导入数据（可导入百万条数据）
java中JDBC实现往MySQL插入百万级数据的实例代码
08-31
主要介绍了java中JDBC实现往MySQL插入百万级数据的实例代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。
javafx+jdbc+mysql实现学生宿舍管理系统
02-23
javafx+jdbc+mysql实现学生宿舍管理系统，即开即用，容易上手 javafx+jdbc+mysql实现学生宿舍管理系统，即开即用，容易上手 javafx+jdbc+mysql实现学生宿舍管理系统，即开即用，容易上手 javafx+jdbc+mysql实现学生...
JSP+Servlet + JDBC+MySQL 注册和登录
08-28
JSP+Servlet + JDBC+MySQL 注册和登录
基于jsp+servlet+jdbc+MySQL的学生管理系统.zip
01-15
基于jsp+servlet+jdbc+MySQL的宿舍管理系统。上传之前本人已测试，能完美运行。想查看显示效果可以复制下面的链接查看。不懂可留言或私信。适用于毕业设计，期末设计。 项目说明：...
Java+Servlet+Jdbc+Jsp+Mysql实现Web学生信息管理系统
07-16
Java+Servlet+Jdbc+Jsp+Mysql实现Web学生信息管理系统，系统经多次测试，运行无误，请大家放心下载
mysql大批量数据插入
07-31
需求：需要频繁的插入数据到MySQL数据库中，设计目标要求能支持平均每秒插入1000条数据以上 方法：mysql批量数据插入方法及性能参考
3分钟如何向MySQL数据库中插入100万条数据
12-14
一、编写测试案例向MySQL数据库中插入百万条数据。测试数据表建表脚本如下：use db_xk; drop table if exists tb_test2; create table tb_test2 ( id int primary key auto_increment， subject varchar(50) not null， description varchar(200) not null， teacher_id int(10) zerofill not null， student_id int(10) zerofill default null， state b
Mysql使用insert插入多条记录 批量新增数据
12-16
如果要向table1中插入5条记录，下面写法是错误的： INSERT INTO table1 (id,name) VALUES(1,小明,2,小强,3,小杜,4,小李,5,小白); MySQL将会抛出下面的错误 ERROR 1136: Column count doesn't match value count at row 1 而正确的写法应该是这样： INSERT INTO t able1(i,name) VALUES(1,'小明'),(2,'小强'),(3,'小杜'),(4,'小李'),(5,'小白'); 当然，这种写法也可以省略列名，这样每一对括号里的值的数目必须一致，而且这个数
MySQL 通过存储过程高效插入100w条数据
最新发布
kerwin的博客
09-30 6811
MySQL 通过存储过程高效插入100w条数据
MYSQLg高级------批量插入百万级数据量
沉淀、分享、成长，让自己和他人都能有所收获！
08-09 6079
先建立一张表：作为测试使用设置参数log_bin_trust_function_creators上述修改方式MySQL重启后会失败，在my.cnf配置文件下修改永久有效。创建函数，保证每条数据都不同随机产生字符串执行完语句后，在终端上输入，要以$$结尾执行完语句后，在终端上输入，要以$$结尾： （6） 长度最大为6：默认值；所有的值都是这个不变的：所有的值都是1 也是不变的：当前得到时间应该是函数得一种写法；（具体的不了解；抱歉）：都是默认值：都是默认值：上面就是他的一个完整的解释；...
Mysql使用存储过程快速添加百万数据
Free雅轩的博客
09-08 659
这篇文章主要介绍了Mysql使用存储过程快速添加百万数据,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下 前言 为了体现不加索引和添加索引的区别，需要使用百万级的数据，但是百万数据的表，如果使用一条条添加，特别繁琐又麻烦，这里使用存储过程快速添加数据，用时大概4个小时。 创建一个用户表 CREATE TABLE `t_sales` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` v
MySQL快速生成100W条测试数据
好幸运
08-20 1万+
1、生成思路 利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中 2、创建普通表及内存表 普通表 CREATE TABLE `vote_record` ( `id` INT (11) NOT NULL AUTO_INCREMENT, `user_id` VARCHAR (20) NOT NULL, `vote_id` INT...
MySQL快速生成大量测试数据
认识世界，活出伟大
07-14 1450
//通过内存表的方式将测试数据快速插入正式数据表中 --普通表 CREATE TABLE `vote_record` ( `id` INT (11) NOT NULL AUTO_INCREMENT, `user_id` VARCHAR (20) NOT NULL, `vote_id` INT (11) NOT NULL, `group_id` INT (11) NOT NULL, `create_time` datetime NOT NULL, PRIMARY KEY (`id`), KEY.
如何往MySQL中插入100万条数据？
Fearless____的博客
07-26 962
往MySQL中大批量插入数据的正确做法 ......
springboot +mybatis +oracle 多线程+事务 快速插入百万条数据示列
07-15
您可以参考以下示例代码来实现Spring Boot与MyBatis集成，使用Oracle数据库进行多线程快速插入百万条数据，并保证事务的一致性。 首先，您需要在pom.xml文件中添加所需的依赖： ```xml <!-- Spring Boot --> ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

容若只如初见

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值