多线程实现数据库批量数据插入

本文介绍了一个使用多线程向Mysql数据库批量插入数据的程序。通过单线程和四线程的对比,展示了多线程在数据插入效率上的提升。程序包含连接池类`ConnectionPool`、连接类`ConnectionClass`和工作线程类`WorkThread`,并提供了测试案例。测试结果显示,四线程插入20万数据比单线程快约18秒。
摘要由CSDN通过智能技术生成

最近写了一个多线程向数据库写入批量数据的程序。

程序实现功能:

1. 单线程向Mysql数据库表中插入20万数据记录。

2 . 启用四个线程负责向四张不同的表分别插入5万数据。

3 . 分别记录插入数据时间并进行对比。

程序代码:

一 连接池类 ConnectionPool

该类负责数据库连接池的创建,每个线程要连接数据库时直接从数据库连接池取得连接:

package com.mysql;


import java.util.ArrayList;


public class ConnectionPool {
private String user="";
private String password="";
final static String jdbcDriver="com.mysql.jdbc.Driver";
private String url="";
private int maxConnection=10;
private ArrayList<ConnectionClass> connections=null;
public ConnectionPool(String url,String user,String password)
{
this.setUrl(url);
this.setUser(user);
this.setPassword(password);
createConnections();
}
/***
 * create connections in connection pool
 */
private void createConnections()
{
if(connections!=null)
return;
else
{
connections = new ArrayList<ConnectionClass>();
for(int i=0;i<maxConnection;i++)
{
ConnectionClass t=new ConnectionClass(jdbcDriver,url,user,password);
if(t!=null)
{
connections.add(t);
}
}

}
}
/**
 * get free connection
 * @return
 */
public synchronized ConnectionClass findFreeConnection() // 线程每次获取空闲连接是要实现同步
{
ConnectionClass t=null;
int i=0;
for(i=0;i<maxConnection;i++)
{
t=connections.get(i);
if(t.isBusy()==false)
break;
}
if(i<maxConnection)
t.setBusy(true);
return t;
}
public int getMaxConnection() {
return maxConnection;
}
public void setMaxConnection(int maxConnection) {
this.maxConnection = maxConnection;
}
public ArrayList<ConnectionClass> getConnections() {
return connections;
}
public void setConnectio

实现多线程方式插入数据库,可以使用线程池来管理线程的创建和执行。首先,需要配置一个线程池,可以使用Spring的ThreadPoolTaskExecutor来创建。在配置类中,使用@EnableAsync注解开启异步执行功能,并在@Bean注解的方法中创建并配置ThreadPoolTaskExecutor对象。可以设置核心线程数、最大线程数、队列大小等参数,以及线程池中线程的名称前缀和拒绝策略。配置完成后,调用initialize()方法进行初始化,并将创建的线程池对象返回。 在具体的业务逻辑中,可以使用@Async注解将需要异步执行的方法标记为异步方法。在这些方法中,可以使用JDBC方式插入数据库。通过调用线程池的execute()方法,将需要执行的任务提交给线程池进行处理。线程池会根据配置的参数来管理线程的创建和执行,保证并发插入数据库的效率和线程的复用。 需要注意的是,在使用多线程插入数据库时,要确保数据库连接的线程安全性,可以使用连接池来管理数据库连接,以避免线程间的竞争和资源浪费。 引用\[1\]中的代码片段展示了一个配置线程池的示例,可以根据具体需求进行修改和扩展。 #### 引用[.reference_title] - *1* [多线程批量插入数据库](https://blog.csdn.net/qq_41315539/article/details/120562395)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值