怎么高效率批量插入1000条数据到数据库

最新推荐文章于 2024-01-09 22:18:51 发布
最新推荐文章于 2024-01-09 22:18:51 发布
阅读量9.4k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_38068807/article/details/101558411
版权

问题：

每隔5毫秒就有30多条数据发送过来，然后需要及时插入到数据库，怎样才能更高效插入到数据库？要求：插入到数据库所耗的时间必须要比发送的时间快。目前我的做法是把批量数据先放在DataTable 中，1s后一次性提交DataTable中的数据，用的方法是adapter.Update(DataTable),这种方法效率上还是比较慢，内部实现应该还是一条一条插入的，只不过少连了几次数据库

 

回答一：

提供一个思路供参考:
使用数据缓冲区+多线程完成这个功能, 先用队列作为数据缓冲区, 一个线程专门负责读取数据, 将读取到的数据保存到队列; 另一个线程专门负责保存数据, DbConnection不能用sqlbulkcopy, 在Insert语句中使用 Union 拼接总是可以的吧, 一次性地拼接30条数据保存到数据库中. 我有试过用此种方法接收处理1万条记录, 基本上可以确保即时地将数据保存到数据库中.
当然, 如果接收到的数据量足够大足够快, 那可能还得考虑一下 sp1234 提到的 内存数据库 的问题。

回答二：

目前我的做法也是用一个列队存储数据，一个线程存，一个线程取，取的过程中需要分析+发送+插入，所耗时间远远不能达到那边传数据速度，所以就会产生数据堆积，然后越堆越多...

回答三：

5毫秒？？还多线程？。。。
线程多效率就更低了。
还是考虑内存数据库吧 fastdb之类的

百雨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java快速插入千万级数据
05-25
java快速插入千万级数据，亲测91秒插入1700万数据！！！
Mysql批量插入1000条数据
qq_45443475的博客
06-28 1934
【代码】Mysql批量插入1000条数据。
python---MySQL实现向表中插入1000条数据
weixin_44688529的博客
07-27 2335
向数据库的表中插入数据，需要指定数据库以及表，最后执行插入语句即可。
java中JDBC实现往MySQL插入百万级数据的实例代码
08-31
主要介绍了java中JDBC实现往MySQL插入百万级数据的实例代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。
SQL批量插入数据几种方案的性能详细对比
12-15
公司技术背景：数据库访问类（xxx.DataBase.Dll）调用存储过程实现数据库的访问。技术方案一：压缩时间下程序员写出的第一个版本，仅仅为了完成任务，没有从程序上做任何优化，实现方式是利用数据库访问类调用存储过程，利用循环逐条插入。很明显，这种方式效率并不高，于是有了前面的两位同事讨论效率低的问题。技术方案二：由于是考虑到大数据量的批量插入，于是我想到了ADO.NET2.0的一个新的特性：SqlBulkCopy。有关这个的性能，很早之前我是亲自做过性能测试的，效率非常高。这也是我向公司同事推荐的技术方案。技术方案三：利用SQLServer2008的新特性–表值参数（Table-Value
经典面试题：SQL编程实现往数据库中插入1000条数据
Flora's Zone
06-10 5128
经典面试题：SQL编程实现往数据库中插入1000条数据
SQL server批量插入1000条数据
最新发布
执笔阑珊的博客
01-09 1303
SQL server批量插入数据
插入数据库 每次1000条数据
weixin_30295091的博客
08-18 447
$sql = "insert into `elconlist` (`ecgrouid`,`elcono`) VALUES"; for($i = 0; $i < $ecnum; $i++){ //拼装SQL if($i != $ecnum-1){ if...
Mysql批量插入1000w条数据
ctlgq的博客
10-03 5354
NoSQL not only sql Redis master/slave
mysql 插入1000条数据_SQL 循环插入1000条数据
weixin_29630465的博客
01-27 998
DECLARE @i intDECLARE @identifier uniqueidentifierDECLARE @Uuid uniqueidentifierDECLARE @ProductName nvarchar(MAX)DECLARE @ProtectFlag bitDECLARE @name nvarchar(max)DECLARE @ManagedStatus intDECLARE @...
mybatis中批量插入的两种方式(高效插入)
09-01
MyBatis是一个支持普通SQL查询，存储过程和高级映射的优秀持久层框架。这篇文章主要介绍了mybatis中批量插入的两种方式(高效插入)的相关资料，非常不错，具有参考借鉴价值，感兴趣的朋友一起看看吧
使用jdbc向数据库插入100000条记录
opzoonzhuzhengke的专栏
09-11 1754
分别使用statement，PreparedStatement，及PreparedStatement+批处理3种方式进行测试： //1.使用statement插入100000条记录  Java代码   public void exec(Connection conn){     try {      //开始时间     Long beginTime = Sy
微信小程序云开发读取数据超过20，云函数读取超过100条限制，获取云开发数据库集合里的所有数据的方法
编程小石头
06-28 6335
看过石头哥云开发基础课的同学肯定都知道，直接在小程序里请求数据每次最多只能返回20条数据，云函数里请求数据每次最多只能返回100条数据，如果想突破这个限制，最好的方式就是做分页，当然分页我在云开发基础里也有教大家。但是限制存在这么一个需求，如果我们想一次性的拿到数据库里存的所有数据呢，比如数据库里有1000条数据，我们想一下子全部拿到，该怎么做呢？？？ 今天就来教大家如何通过云函数每次最多返回100条的限制。 一，云函数突破100条的限制 如上图所示，我的num集合里有103条数据，如果按照之前的分.
Excel：快速填充1000行(自定义)数据
Bule_daze的博客
08-14 8851
1. 在左上角 名称框 中输入你想填充的单元格，按 回车键 选中 比如，我想填充A2到A1001行，输入 A2:A1001。 2. 在 编辑栏 中输入想要填充的内容，按 command + 回车键 填充 Windows 按 ctrl + 回车键
Mysql循环添加1000条数据案列
陌上花开的博客
08-10 3984
针对某些特殊测试，需要添加大量数据，且这些测试具有一定的规律性，可以按照以下的sql脚本循环添加，可以是1000条，也可以是一百万条。 CREATE PROCEDURE p14 () BEGIN declare i int; set i=1001; while i<=2000 do INSERT INTO payment_record(serial_number, payment_order_no, platform_id, platform_name, app_id, app_name, polic
用存储过程往表里批量插入1000条数据
qq_42420970的博客
12-19 1974
表长这个样子 废话不多说，直接贴代码 delimiter // create procedure insertUserInfo() begin declare i int; set i=1; while(i<=1000)do INSERT INTO AG_USER (AG_USER_BH, AG_USER_MC, F_CRDATE, F_CHDATE, USER_AGE, USER_SEX...
mysql的min的低工资300_一次只能插进数据库300条，怎么才能优化呢？
weixin_28339967的博客
01-28 122
该楼层疑似违规已被系统折叠隐藏此楼查看此楼package com.insertT;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.SQLException;import com.insert.DateUtil;public clas...
SqlServer插入1000条记录
a616735104的博客
07-29 713
1、想在SqlServer中插入指定数量的测试记录怎么办？ 2、解决： DECLARE @var INT SET @var=0 WHILE (@var<1000) BEGIN INSERT INTO test (Name) VALUES (convert(VARCHAR(max), getdate())); SET @var=@var+1 END...
批量插入五万条数据高效率代码代码示例
06-07
以下是 Java JDBC 批量插入五万条数据的高效率代码示例： ```java Connection conn = null; PreparedStatement pstmt = null; try { // 获取数据库连接 conn = DriverManager.getConnection(url, username, password); // 关闭自动提交，开启事务 conn.setAutoCommit(false); // 准备 SQL 语句 String sql = "INSERT INTO table_name (column1, column2, column3) VALUES (?, ?, ?)"; // 获取预处理语句对象 pstmt = conn.prepareStatement(sql); // 循环插入数据 for (int i = 1; i <= 50000; i++) { // 设置参数 pstmt.setInt(1, i); pstmt.setString(2, "value" + i); pstmt.setDouble(3, Math.random() * 100); // 添加到批处理中 pstmt.addBatch(); // 每1000条数据提交一次 if (i % 1000 == 0) { pstmt.executeBatch(); pstmt.clearBatch(); } } // 提交事务 conn.commit(); } catch (SQLException e) { // 回滚事务 if (conn != null) { try { conn.rollback(); } catch (SQLException ex) { ex.printStackTrace(); } } e.printStackTrace(); } finally { // 关闭预处理语句对象和数据库连接 if (pstmt != null) { try { pstmt.close(); } catch (SQLException e) { e.printStackTrace(); } } if (conn != null) { try { conn.close(); } catch (SQLException e) { e.printStackTrace(); } } } ``` 以上代码中，使用了 JDBC 的批处理技术，每1000条数据提交一次，可以有效地减少数据库连接和提交的次数，提高插入数据的效率。同时，使用了事务来确保数据的一致性和完整性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值