通过JDBC使用批处理+事务,往数据库中插入百万级数据测试

最近再学习MySQL,有时候需要百万级/千万级的数据量来支撑测试,刚开始通过语句一条一条的插入,200W行插入了4个小时才搞定,所以写了如下代码来快速插入。

单纯的JDBC,没有采用多线程,多线程的方式后期会更新,代码有缺陷的地方,希望评论指出。

JdbcUtils就不贴出来了。

本人自用笔记本,插入速度大概在 1W+条 / S

public void commitBatch() {
		String Thread = "InnoDB";
		//事务数量
		int number = 1;
		//事务上限
		int maxCommit = 50000;
		//插入数量
		int insertNumber = 500000;
		System.out.println("当前数据引擎:"+Thread+",测试:通过JDBC使用批处理+事务,往数据库中插入"+(insertNumber/10000)+"W条数据,现在时间:"+new Date());
		Connection conn = null;
		PreparedStatement pstmt = null;
		Long startTime = System.currentTimeMillis();
		try {
			// 获取连接
			conn = JdbcUtils.getConnection();
			// 获得发送sql 的对象
			String sql = "insert into tuser(name,password,userid) values(?,?,?)";
			pstmt = conn.prepareStatement(sql);
			//设置事务不自动提交
			conn.setAutoCommit(false);
			// 批量插入记录
			for (int i = 1; i <= insertNumber; i++) {
				String uuid = UUID.randomUUID().toString().replaceAll("-", "");
				// 设置参数
				pstmt.setString(1, "name" + i);
				pstmt.setString(2, uuid);
				pstmt.setInt(3, i);
				// 增加到批处理中
				pstmt.addBatch();
				//分段提交    
                if(i%maxCommit==0&& i!=0){
                	number++;
                	pstmt.executeBatch();    
                    conn.commit();    
                    conn.setAutoCommit(false);// 开始事务    
                    pstmt = conn.prepareStatement(sql);    
                }    
			}
			// 执行
			pstmt.executeBatch();
			//提交事务
			conn.commit();
			Long endTime = System.currentTimeMillis();
			System.out.println("当前数据引擎:"+Thread+",已成功插入"+(insertNumber/10000)+"W条数据,现在时间:"+new Date());
			System.out.println("当前数据引擎:"+Thread+",用时:" + ((endTime - startTime))+"毫秒");
			System.out.println("当前数据引擎:"+Thread+",每"+(maxCommit/10000)+"W为一个事务,共使用了:"+number+"个事务。");
			System.out.println("当前数据引擎:"+Thread+",本次JDBC批处理事务上限测试是:"+maxCommit);
		} catch (Exception e) {
			e.printStackTrace();
		} finally {
			JdbcUtils.release(conn, pstmt);
		}
	}


  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值