JDBC连接数据库：单线程、多线程、批处理插入数据的对比

最新推荐文章于 2023-05-07 17:11:21 发布
最新推荐文章于 2023-05-07 17:11:21 发布
阅读量1.1k 收藏 3
点赞数
文章标签： 数据库 java

 

一、单线程（单条循环）插入50000条记录：

每执行一次就要访问一次数据库

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;


public class Test {

    public static void main(String[] args) {
        
         Connection conn;
         Statement stmt;
         ResultSet rs = null;
         String url = "jdbc:sqlserver://localhost:1433;DatabaseName=test;";
         String sql = "insert into student(name,age) values('wang',12)";
         try {
             // 连接数据库
             conn = DriverManager.getConnection(url, "sa", "123456");
             // 建立Statement对象
             stmt = conn.createStatement();
             /**
              * Statement createStatement() 创建一个 Statement 对象来将 SQL 语句发送到数据库。
              */
             // 执行数据库查询语句
             long starttime=System.currentTimeMillis();
             for(int i=0; i<50000;i++){
                 stmt.executeUpdate(sql);
             }
             long spendtime=System.currentTimeMillis()-starttime;
             System.out.println( "单线程批处理花费时间:"+spendtime);
             /**
              * ResultSet executeQuery(String sql) throws SQLException 执行给定的 SQL
              * 语句，该语句返回单个 ResultSet 对象
              */
             if (rs != null) {
                 rs.close();
                 rs = null;
             }
             if (stmt != null) {
                 stmt.close();
                 stmt = null;
             }
             if (conn != null) {
                 conn.close();
                 conn = null;
             }
         } catch (SQLException e) {
             e.printStackTrace();
             System.out.println("数据库连接失败");
         }        
    }    
}

  

 

二、单线程（批处理）插入50000条记录：

stmt.addBatch()：把要执行的多条sql语句放在一起，通过stmt.executeBatch()只访问一次数据库，就前面的多条sql语句一起插入

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class Test {

    public static void main(String[] args) {
        
         Connection conn;
         Statement stmt;
         ResultSet rs = null;
         String url = "jdbc:sqlserver://localhost:1433;DatabaseName=test;";
         String sql = "insert into student(name,age) values('wang',12)";
         try {
             // 连接数据库
             conn = DriverManager.getConnection(url, "sa", "123456");
             // 建立Statement对象
             stmt = conn.createStatement();
             /**
              * Statement createStatement() 创建一个 Statement 对象来将 SQL 语句发送到数据库。
              */
             // 执行数据库查询语句
             long starttime=System.currentTimeMillis();
             for(int i=0; i<50000;i++){
                 stmt.addBatch("insert into student(name,age) values('wang',12)"); 
             }
             stmt.executeBatch();
             long spendtime=System.currentTimeMillis()-starttime;
             System.out.println( "单线程批处理花费时间:"+spendtime);
             /**
              * ResultSet executeQuery(String sql) throws SQLException 执行给定的 SQL
              * 语句，该语句返回单个 ResultSet 对象
              */
             if (rs != null) {
                 rs.close();
                 rs = null;
             }
             if (stmt != null) {
                 stmt.close();
                 stmt = null;
             }
             if (conn != null) {
                 conn.close();
                 conn = null;
             }
         } catch (SQLException e) {
             e.printStackTrace();
             System.out.println("数据库连接失败");
         }  
    }    
}

 

执行后会发现：时间缩短很多

 

三、多线程（单条循环）插入50000条记录：

启动5个线程，每个线程插入10000条记录

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.UUID;
import java.util.concurrent.CountDownLatch;


public class InsertTest {

      private String url="jdbc:sqlserver://localhost:1433;DatabaseName=test;";
        private String user="sa";
        private String password="123456";
        public Connection getConnect(){
            Connection con = null;
             try {
                Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
                con=DriverManager.getConnection(url, user, password);
            } catch (Exception e) {
                e.printStackTrace();
            }
             return con;
        }
        public void multiThreadImport( final int ThreadNum){
            final CountDownLatch cdl= new CountDownLatch(ThreadNum);
            long starttime=System.currentTimeMillis();
            for(int k=1;k<=ThreadNum;k++){
                new Thread(new Runnable() {
                    @Override
                    public void run() {
                        Connection con=getConnect();
                        try {
                            Statement st=con.createStatement();
                            for(int i=1;i<=10000;i++){
                                //st.addBatch("insert into student(name,age) values('wang',12)");
                                st.executeUpdate("insert into student(name,age) values('wang',12)");
                            }
                            //st.executeBatch();
                            cdl.countDown();
                        } catch (Exception e) {
                        }finally{
                            try {
                                con.close();
                            } catch (SQLException e) {
                                e.printStackTrace();
                            }
                        }
                    }
                }).start();
            }
            try {
                cdl.await();
                long spendtime=System.currentTimeMillis()-starttime;
                System.out.println( ThreadNum+"个线程花费时间:"+spendtime);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }

        }

        public static void main(String[] args) throws Exception {
            InsertTest ti=new InsertTest();
            ti.multiThreadImport(5);
        }
}

 

四、多线程（批处理）插入50000条记录：

启动5个线程

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.UUID;
import java.util.concurrent.CountDownLatch;


public class InsertTest {

	  private String url="jdbc:sqlserver://localhost:1433;DatabaseName=test;";
	    private String user="sa";
	    private String password="Rfid123456";
	    public Connection getConnect(){
	        Connection con = null;
	         try {
	            Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
	            con=DriverManager.getConnection(url, user, password);
	        } catch (Exception e) {
	            e.printStackTrace();
	        }
	         return con;
	    }
	    public void multiThreadImport( final int ThreadNum){
	        final CountDownLatch cdl= new CountDownLatch(ThreadNum);//定义线程数量
	        long starttime=System.currentTimeMillis();
	        for(int k=1;k<=ThreadNum;k++){
	            new Thread(new Runnable() {
	                @Override
	                public void run() {
	                    Connection con=getConnect();
	                    try {
	                        Statement st=con.createStatement();
	                        for(int i=1;i<=50000/ThreadNum;i++){
	                            st.addBatch("insert into student(name,age) values('wang',12)");
	                            if(i%500 == 0){
	                            	st.executeBatch();
	                            }
	                        }
	                        cdl.countDown();	//执行完一个线程，递减1
	                    } catch (Exception e) {
	                    }finally{
	                        try {
	                            con.close();
	                        } catch (SQLException e) {
	                            e.printStackTrace();
	                        }
	                    }
	                }
	            }).start();
	        }
	        try {
	            cdl.await();	//前面线程没执行完，其他线程等待，不往下执行
	            long spendtime=System.currentTimeMillis()-starttime;
	            System.out.println( ThreadNum+"个线程花费时间:"+spendtime);
	        } catch (InterruptedException e) {
	            e.printStackTrace();
	        }

	    }

	    public static void main(String[] args) throws Exception {
	    	InsertTest ti=new InsertTest();
	        ti.multiThreadImport(5);
	    }
}

 

 

 

 

 

 

 

CountDownLatch：这个类能够使一个线程等待其他线程完成各自的工作后再执行。

（1）它通过一个计数器来实现的，计数器的初始值为线程的数量。

CountDownLatch cdl= new CountDownLatch(ThreadNum)

 

（2）每当一个线程完成了自己的任务后，计数器的值就会减1。当计数器值到达0时，它表示所有的线程已经完成了任务，

cdl.countDown();

 

（3）然后在闭锁上等待的线程就可以恢复执行任务。

cdl.await();

 

weixin_33953249
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多线程以JDBC的方式返回海量数据
02-05
适合多线程，jdbc的方式获取数据
多线程能否提高jdbc插入速度？
u011982711的博客
09-29 827
结论：不使用批量插入的话，多线程确实能提高插入速度，如果使用批量插入，单线程多线程都差不多（其实和kafka批量提交差不多）。如果不用批量插入（batchSize=1），插入400000行。
JDBC多线程插入大量数据.md
小布1994的博客
12-08 667
package com.xiaobu.base.util; import com.google.common.util.concurrent.ThreadFactoryBuilder; import lombok.extern.slf4j.Slf4j; import java.sql.Connection; import java.sql.PreparedStatement; import java.util.concurrent.*; import java.util.concurrent.atomi
JdbcTemplate大数据批量插入 多线程异步操作
m0_51527921的博客
05-12 2446
配置线程池任务执行器 @Configuration public class ThreadConfig { @Bean public ThreadPoolTaskExecutor executor(){ ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor(); //配置核心线程数 executor.setCorePoolSize(15); //配置最大线程数
使用多线程执行任务，并获取返回结果，附异步实现
delete_bug的博客
05-07 6591
多线程+异步让程序的效率更高
Java开发实战1200例(第1卷).(清华出版.李钟尉.陈丹丹).part3
06-12
实例143 使用线程池优化多线程编程 186 实例144 Object类中线程相关的方法 187 实例145 哲学家就餐问题 189 实例146 使用信号量实现线程同步 190 实例147 使用原子变量实现线程同步 191 实例148 使用事件分配线程...
mysql 多线程 事务_jdbc批处理+手动事务+多线程实现81秒插入千万数据（多线程版)...
weixin_36013970的博客
02-01 190
现在来试试多线程能够多少秒钟插入千万数据/*** @Author: guandezhi* @Date: 2019/4/13 15:35*/public class JdbcUtils {private static String url = "jdbc:mysql://localhost:3306/user?useSSL=false&rewriteBatchedStatements=tru...
大量数据情况下单线程插入和多线程（高并发）insert数据库的性能测试
热门推荐
八点二十四分
07-14 1万+
欢迎访问我的网站 public class ThreadImport { static Connection conn; public void multiThreadImport( final int ThreadNum){ final CountDownLatch cdl= new CountDownLatch(ThreadNum); long sta...
批量VS多线程
spring629的专栏
07-26 721
在实际的编码过程中，总会遇到单一处理会有性能风险的问题，于是我们求助于批量或者多线程。 一、批量处理         一般情况下批量处理就可以规避大部分性能风险的问题。将fetch()，改为batchFetch()，多数情况都比较简单，主要是修改   二、多线程
多线程之futureTask(future,callable)实例,jdbc数据多线程查询
水中加点糖
09-20 2599
最近遇到一个这样的功能要求。在查询数据时，由于查询的数据量比较大，一次查询（一条SQL语句中包含太多的条件）查询起来很慢，大约要10S左右才能查询出来，这样体验太不好了，需要进行优化。今天想了想，打算采用在后端把一条SQL进行拆分，拆分成为多条SQL语句，再抛给多个线程去分别查询，查询完毕后，再进行汇总的这个思路来实现。 由于会用到多线程，JAVA中对于多线程感觉就两种。一种是常用的runnab
单线程和多线程连接mysql_JDBC连接数据库：单线程、多线程、批处理插入数据的对比...
weixin_35949857的博客
01-20 589
一、单线程(单条循环)插入50000条记录：每执行一次就要访问一次数据库import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class Test {public ...
Java多线程Jdbc_[Java123] JDBC and Multi-Threading 多线程编程学习笔记
weixin_39734184的博客
02-12 230
项目实际需求：DB交互使用多线程实现多线程编程基础：1.5 :( (假设总分10)计划一个半月从头学习梳理Java多线程编程基础以及Oracle数据库交互相关的多线程实现学习如何通过代码去验证这些结论Some TipsMulti-threading will improve your performance but there are a couple of things you need to...
多线程读取数据库
wisdom_get233的博客
08-29 2160
方法一（第一天的小测试） 连接数据库 package com.xinyuan.ms.service; import java.sql.*; import java.util.*; public class ThreadToMysql extends Thread { Integer cid; Integer num; // Integer page; public ThreadToMysql(Integer cid,Integer num){ this.c
Java利用多线程进行并发数据查询
lianaozhe的博客
09-27 5307
在我们的系统中，我们可能会在一个事务中，执行多项操作，调用多个外部服务，查询数据或者更新数据，进行一系列逻辑处理之后返回给客户一个结果。而不是本服务积压大量服务，而其它服务又大量空闲，使得前端的请求得不到及时的响应。逻辑一般是先定义几个方法查询对应数据，然后在用一个方法去调用这些方法，最终把结果返回到前端。这样写的缺点是：这些方法是串行执行的，如果数量量大的情况下，执行时间会很长，用户体验极差。并发查询的效率会受到机器配置下影响，核心线程多的机器可以理论上执行更多的并发任务。大概预期结果2325。
jdbc mysql插入_使用jdbc连接数据库插入数据
最新发布
05-15
你可以使用 JDBC（Java Database Connectivity）来连接数据库并插入数据到 MySQL 数据库。以下是一个简单的示例代码： ```java import java.sql.*; public class InsertDataExample { static final String JDBC_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值