Java之JDBC之批处理及数据库连接池

最新推荐文章于 2023-12-09 23:03:16 发布
最新推荐文章于 2023-12-09 23:03:16 发布
阅读量529 收藏
点赞数
分类专栏： java 文章标签： java 数据库 batch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wcg920212/article/details/122692701
版权

文章目录

1、JDBC之批处理

1.1、 基本介绍

在这里插入图片描述

1.2、 应用实例

在这里插入图片描述
在这里插入图片描述

CREATE TABLE admin2 
( id INT PRIMARY KEY auto_increment, 
username VARCHAR ( 32 ) NOT NULL, 
PASSWORD VARCHAR ( 32 ) NOT NULL );

Batch_.java

package jdbc.batch_;

import jdbc.utils.JDBCUtils;
import org.junit.jupiter.api.Test;

import java.sql.Connection;
import java.sql.PreparedStatement;

/**
 * java 的批处理
 */
@SuppressWarnings({"all"})
public class Batch_ {
    // 传统方法, 添加 5000 条数据到 admin2
    @Test
    public void noBatch() throws Exception {
        Connection connection = JDBCUtils.getConnection();
        String sql = "insert into admin2 values(null, ?, ?)";
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
        System.out.println("开始执行");
        long start = System.currentTimeMillis();  // 开始时间
        for (int i = 0; i < 5000; i++) {  // 5000 执行
            preparedStatement.setString(1, "jack" + i);
            preparedStatement.setString(2, "666");
            preparedStatement.executeUpdate();
        }
        long end = System.currentTimeMillis();
        System.out.println("传统的方式 耗时=" + (end - start));  // 传统的方式 耗时=14122
        // 关闭连接
        JDBCUtils.close(null, preparedStatement, connection);
    }

    // 使用批量方式添加数据
    @Test
    public void batch() throws Exception {
        Connection connection = JDBCUtils.getConnection();
        String sql = "insert into admin2 values(null, ?, ?)";
        PreparedStatement preparedStatement = connection.prepareStatement(sql);
        System.out.println("开始执行");
        long start = System.currentTimeMillis();  // 开始时间
        for (int i = 0; i < 5000; i++) {
            preparedStatement.setString(1, "jack" + i);
            preparedStatement.setString(2, "666");
            // 将 sql 语句加入到批处理包中 -> 看源码
            /*
            // 1. 第一就创建 ArrayList - elementData => Object[]
            // 2. elementData => Object[] 就会存放我们预处理的 sql 语句
            // 3. 当 elementData 满后, 就按照 1.5 扩容
            // 4. 当添加到指定的值后, 就 executeBatch
            // 5. 批量处理会减少我们发送 sql 语句的网络开销, 而且减少编译次数, 因此效率提高
            public void addBatch() throws SQLException {
                synchronized(this.checkClosed().getConnectionMutex()) {
                    if (this.batchedArgs == null) {
                        this.batchedArgs = new ArrayList();
                    }

                    for(int i = 0; i < this.parameterValues.length; ++i) {
                        this.checkAllParametersSet(this.parameterValues[i], this.parameterStreams[i], i);
                    }

                    this.batchedArgs.add(new PreparedStatement.BatchParams(this.parameterValues, this.parameterStreams, this.isStream, this.streamLengths, this.isNull));
                }
            }
            */
            preparedStatement.addBatch();
            // 当有 1000 条记录时, 在批量执行
            if ((i + 1) % 1000 == 0) {  // 满 1000 条 sql
                preparedStatement.executeBatch();
                // 清空一把
                preparedStatement.clearBatch();
            }
        }
        long end = System.currentTimeMillis();
        System.out.println("批量方式 耗时=" + (end - start));  // 批量方式 耗时=86
        // 关闭连接
        JDBCUtils.close(null, preparedStatement, connection);
    }
}

JDBCUtils.java

package jdbc.utils;

import java.io.FileInputStream;
import java.io.IOException;
import java.sql.*;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.util.Properties;

/**
 * 这是一个工具类, 完成 mysql 的连接和关闭资源
 */
@SuppressWarnings({"all"})
public class JDBCUtils {
    // 定义相关的属性(4 个), 因为只需要一份, 因此, 我们做出 static
    private static String user;  // 用户名
    private static String password;  // 密码
    private static String url;  // url
    private static String driver;  // 驱动名

    // 在 static 代码块去初始化
    static {
        try {
            Properties properties = new Properties();
            properties.load(new FileInputStream("src\\mysql.properties"));
            // 读取相关的属性值
            user = properties.getProperty("user");
            password = properties.getProperty("password");
            url = properties.getProperty("url");
            driver = properties.getProperty("driver");
        } catch (IOException e) {
            // 在实际开发中, 我们可以这样处理
            // 1. 将编译异常转成 运行异常
            // 2. 调用者可以选择捕获该异常, 也可以选择默认处理该异常, 比较方便
            throw new RuntimeException(e);
        }
    }

    // 连接数据库, 返回 Connection
    public static Connection getConnection() {
        try {
            return DriverManager.getConnection(url, user, password);
        } catch (SQLException e) {
            // 1. 将编译异常转成 运行异常
            // 2. 调用者, 可以选择捕获该异常, 也可以选择默认处理该异常, 比较方便
            throw new RuntimeException(e);
        }
    }

    // 关闭相关资源
    /*
        1. ResultSet 结果集
        2. Statement 或者 PreparedStatement
        3. Connection
        4. 如果需要关闭资源, 就传入对象, 否则传入 null
    */
    public static void close(ResultSet set, Statement statement, Connection connection) {
        // 判断是否为 null
        try {
            if (set != null) {
                set.close();
            }

            if (statement != null) {
                statement.close();
            }

            if (connection != null) {
                connection.close();
            }
        } catch (SQLException e) {
            // 将编译异常转成运行异常抛出
            throw new RuntimeException(e);
        }
    }
}

mysql.properties

user=root
password=root
driver=com.mysql.jdbc.Driver
url=jdbc:mysql://localhost:3306/user_db?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true

2、数据库连接池

2.1、5000 次连接数据库问题

在这里插入图片描述

package jdbc.datasource;

import jdbc.utils.JDBCUtils;
import org.junit.jupiter.api.Test;

import java.sql.*;

public class ConQuestion {
    // 代码 连接 mysql 5000 次
    @Test
    public void testCon() {
        // 看看连接-关闭 connection 会耗用多久
        long start = System.currentTimeMillis();
        System.out.println("开始连接.....");
        for (int i = 0; i < 5000; i++) {
            // 使用传统的 jdbc 方式, 得到连接
            Connection connection = JDBCUtils.getConnection();
            //做一些工作, 比如得到 PreparedStatement, 发送 sql
            // ..........
            // 关闭
            JDBCUtils.close(null, null, connection);
        }
        long end = System.currentTimeMillis();
        System.out.println("传统方式 5000 次 耗时=" + (end - start));  // 传统方式 5000 次 耗时=9537
    }
}
2.2、传统获取 Connection 问题分析

在这里插入图片描述

2.3、数据库连接池种类

在这里插入图片描述

2.4、C3P0 应用实例

使用代码实现c3p0 数据库连接池，配置（c3p0-config.xml）文件放src目录下

C3P0_.java

package jdbc.datasource;

import com.mchange.v2.c3p0.ComboPooledDataSource;
import org.junit.jupiter.api.Test;

import java.io.FileInputStream;
import java.sql.Connection;
import java.util.Properties;

/**
 * c3p0 的使用
 */
public class C3P0_ {
    // 方式 1: 相关参数, 在程序中指定 user, url, password 等
    @Test
    public void testC3P0_01() throws Exception {
        // 1. 创建一个数据源对象
        ComboPooledDataSource comboPooledDataSource = new ComboPooledDataSource();
        // 2. 通过配置文件 mysql.properties 获取相关连接的信息
        Properties properties = new Properties();
        properties.load(new FileInputStream("src\\mysql.properties"));
        // 读取相关的属性值
        String user = properties.getProperty("user");
        String password = properties.getProperty("password");
        String url = properties.getProperty("url");
        String driver = properties.getProperty("driver");
        // 给数据源 comboPooledDataSource 设置相关的参数
        // 注意: 连接管理是由 comboPooledDataSource 来管理
        comboPooledDataSource.setDriverClass(driver);
        comboPooledDataSource.setJdbcUrl(url);
        comboPooledDataSource.setUser(user);
        comboPooledDataSource.setPassword(password);
        // 设置初始化连接数
        comboPooledDataSource.setInitialPoolSize(10);
        // 最大连接数
        comboPooledDataSource.setMaxPoolSize(50);
        // 测试连接池的效率, 测试对 mysql 500000 次操作
        long start = System.currentTimeMillis();
        for (int i = 0; i < 500000; i++) {
            Connection connection = comboPooledDataSource.getConnection();  // 这个方法就是从 DataSource 接口实现的
            // System.out.println("连接 OK");
            connection.close();
        }
        long end = System.currentTimeMillis();
        // c3p0 500000 连接 mysql 耗时=2041
        System.out.println("c3p0 500000 连接 mysql 耗时=" + (end - start));
    }

    // 第二种方式 使用配置文件模板来完成
    // 1. 将 c3p0 提供的 c3p0.config.xml 拷贝到 src 目录下
    // 2. 该文件指定了连接数据库和连接池的相关参数
    @Test
    public void testC3P0_02() throws Exception {
        ComboPooledDataSource comboPooledDataSource = new ComboPooledDataSource("allen");
        // 测试 500000 次连接 mysql
        long start = System.currentTimeMillis();
        System.out.println("开始执行....");
        for (int i = 0; i < 500000; i++) {
            Connection connection = comboPooledDataSource.getConnection();
            // System.out.println("连接 OK~");
            connection.close();
        }
        long end = System.currentTimeMillis();
        // c3p0 的第二种方式(500000) 耗时=1944
        System.out.println("c3p0 的第二种方式(500000) 耗时=" + (end - start));
    }
}

c3p0-config.xml

<c3p0-config>
    <!-- 数据源名称代表连接池 -->
    <named-config name="allen">
        <!-- 驱动类 -->
        <property name="driverClass">com.mysql.jdbc.Driver</property>
        <!-- url-->
        <property name="jdbcUrl">jdbc:mysql://127.0.0.1:3306/user_db</property>
        <!-- 用户名 -->
        <property name="user">root</property>
        <!-- 密码 -->
        <property name="password">root</property>
        <!-- 每次增长的连接数-->
        <property name="acquireIncrement">5</property>
        <!-- 初始的连接数 -->
        <property name="initialPoolSize">10</property>
        <!-- 最小连接数 -->
        <property name="minPoolSize">5</property>
        <!-- 最大连接数 -->
        <property name="maxPoolSize">50</property>
        <!-- 可连接的最多的命令对象数 -->
        <property name="maxStatements">5</property>
        <!-- 每个连接对象可连接的最多的命令对象数 -->
        <property name="maxStatementsPerConnection">2</property>
    </named-config>
</c3p0-config>
一切随心走_水瓶
关注
专栏目录
07. jdbc 批量操作
Java 程序源
08-27 672
1. 批量操作 当需要执行批量插入或批量更新操作时, 普通的一条sql一提交方式, sql执行效率很低. 对此我们可以借助于JDBC 的批量提交机制, 可以大幅提升批量操作性能. 对于JDBC 支持两种批量操作方式: 单条sql批量传参: 借助于PreparedStatment 实现, 最常用 多条sql批量操作: 借助于Statment实现, 不常用 1.1 批量传参模式 Connect...
JDBC 和数据库连接池
sunyusong666的博客
06-25 698
JDBC 和数据库连接池
jdbc批处理
借我一生
12-16 641
一：Statement.addBatch(sql); executeBatch();执行批处理命令 clearBatch();清除批处理命令 二：PreparedStatement.addBatch();
JDBC批处理
qq_36022463的博客
06-21 1135
JDBC批处理 概述 JDBC操作数据库的时候，需要一次性插入大量的数据的时候，如果 每次只执行一条sql语句，效率就会很低。使用batch操作，每次批 量执行SQL语句，调高效率 Statement和PrepareStatement都可以使用批处理 PrepareStatement常用方法： addBatch(); //积攒sql语句 executeBatch()； // 执行批处理 clearBatch()； // 清空批处理 首先在连接数据库的配置文件中加入如下代码
jdbc 批处理
javaMylife的博客
08-06 169
package com.xxx import com.mysql.jdbc.PreparedStatement; import org.springframework.stereotype.Component; import javax.xml.stream.XMLStreamException; import java.io.FileNotFoundException; import java.sql.Connection; import java.sql.DriverManager; import .
javajdbc宠物商店-Mysql数据库_Java项目jdbc_java宠物项目_数据库代码_
10-04
9. **性能优化**: 通过批处理（Batch Processing）、连接池（Connection Pooling）和使用预编译的SQL（PreparedStatement）等方式，可以显著提升JDBC应用的性能。 10. **数据库连接关闭**: 在完成数据库操作后，应...
java使用jdbc连接数据库工具类和jdbc连接mysql数据示例
09-04
本文将详细解释如何使用JDBC连接MySQL数据库，以及如何创建一个工具类来简化数据库连接的管理。 首先，我们需要引入MySQL的JDBC驱动，这通常是一个jar文件，如`mysql-connector-java-5.1.20-bin.jar`。这个驱动包...
JDBC事务、批处理以及连接池(超详细)
weixin_52405010的博客
05-09 993
一、前言 昨天总结了JDBC编码具体步骤，今天我们来说一下JDBC事务、批处理以及JDBC连接池的相关概念及用法，(注：笔者所有代码语句针对MySQL数据库实现) 二、JDBC事务 引出：我们先来看一个问题，假设我们的数据库中有一张余额表，里面有两条记录，如下表： +----+-----------+---------+ | id| name | balance | +----+-----------+---------+ | 1 | 马云 ...
Java的JDBC连接池底层封装
最新发布
weixin_55415300的博客
12-09 1596
目录一、JDBC回顾1.1 六个基本步骤1.2 问题的引出二、ORM框架三、JDBC连接池性能优化3.1 JDBC连接池在创建连接时优化3.2 将连接（桥梁）和状态进行绑定1、MyConnection3.3 设计连接池用于装连接1、ConnectionPool四、JDBC连接池性能的测试五、将JDBC整体优化5.1 问题的产生5.2 问题解决方案1、单例的连接池对象2、添加配置文件3、多个人同时访问4、防止多余的线程出现null5、代理模式（1）静态代理模式（2）缺省适配器模式5.3 完整的JDBC封装代码
JDBC批处理的三种方式
风起于青萍之末，折秀于林
07-12 942
http://zhoujingxian.iteye.com/blog/753523   SQL批处理是JDBC性能优化的重要武器，经本人研究总结，批处理的用法有三种。   package lavasoft.jdbctest;  import lavasoft.common.DBToolkit;  import java.sql.Connection;
JDBC批處理
Dean_Deng的专栏
02-14 739
有兩張表test和test1表結構，字段名稱，字段數據類型完全一致，如圖，test1中有數據1966088條，test表是一張空表。 1、首先不采用批處理，從test1表中查詢出所有數據，再存入test表。程序運行運行時間打印輸出。 import java.sql.*; public class Test { private static String driver = "ora
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值