关于百万级别数据入库的坑（sql中value和values的区别）

已于 2024-06-28 13:35:35 修改
阅读量265 收藏 1
点赞数
文章标签： java mysql sql
于 2023-06-14 10:28:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenjiaxiong112/article/details/131201173
版权
本文讲述了在处理百万级别数据入库时遇到的问题，通过对比使用ibatis框架和原生JDBC，发现使用JDBC批量插入能显著提高效率。然而，在使用JDBC时，发现`value`和`values`在SQL语句中的使用导致了性能的巨大差异，改正后，数据入库时间从十多分钟降低到十多秒。尽管通常认为`value`比`values`快，但作者的实际经验却显示`values`在大数据量插入时表现更优。文章末尾分享了一个博主的资源，供读者参考学习如何快速插入大量数据。
摘要由CSDN通过智能技术生成

        最近公司需要和第三方对接同步数据，数据有几百万条来回的传输，当上百万的数据要更新入库时，我犯了难，由于项目框架过于老旧（新的框架博主没有去了解怎么去大批量入库），使用的ibatis框架在入库上百万的数据时很久（可能是框架需要解析你的sql），时间大概在5-10分钟甚至更久，这很明显不符合我的预期，经过我多方的学习，什么分批插入，sql的批量拼接等等都没有达到我的预期，最后发现大佬们用原生的JDBC去重复的生成sql然后一次性提交，这样百万级别的数据入库也就需要十多秒，如图1

图1       

         紧接着博主立马应用到我的需求里面，经过一顿改改改，终于把使用框架插入换成使用JDBC插入，然后我信心满满的启动项目跑跑跑，然后发现不对劲，怎么比我没改之前还要慢啊十多分钟都跑不完，怎么会这么奇怪呢，立马打断点。循环生成sql这一步很快。在JDBC提交这里很慢，紧接着去看表，是不是表有问题，换表在插入还是慢，各种方向一顿排查还是没有发现问题，最后去看sql，发现插入的value和values不一样，改了再跑，快了！！！从十多分钟都跑不完变成的十多秒跑完，泪目，那么一点小问题半天没有发现（刚开始博主确实不懂MySQL中value和values的区别）。

        我解决完这个问题的时候立马百度了value和values有啥区别，发现挺多博主说value要比values要快，这就很奇怪了，我跑百万数据入库的时候values要比value快超级多，根本不是在一个量级的，百思不得其解，最后如果有小伙伴想要JDBC的代码大家可以去参考这个博主的代码：教你如何6秒钟往MySQL插入100万条数据的实现_Mysql_脚本之家

尘加熊
关注
第二章 SQL命令参考-VALUES
kygoal的博客
11-21 6683
VALUES Computes a setof rows. 概要 VALUES( expression [, ...] ) [, ...] [ORDER BY sort_expression [ASC | DESC | USINGoperator] [, ...]] [LIMIT{count | ALL}] [OFFSET start]   描述 VALUES计算由值表达式指定的行
数据库插入百万数据
成长之路
06-09 8546
这是对一次数据库作业的深究首先说一下作业题目要求：建立一张包含四个字段的表，表名为test         第一列为id，主键，自增。                第二列为col1，随机为Mike，Bob，Jack，Alice，Cathy，Ann，Betty，Cindy，Mary，Jane中的一个                第三列为col2，随机为一个5位字母，字母限
Mysql插入语句之value与values区别
热门推荐
予怀
09-13 8万+
value与values区别 http://dev.mysql.com/doc/refman/5.7/en/insert.html 看了一下官方文档，VALUE与VALUES都是正确的，经过验证，这两个也是可以混合着用的，只是两者对不同语句插入数量的执行效率各不相同。 VALUE插入一行 VALUES插入一行 可以看出在插入单行时，使用VALUES比较
百万数据入库
weixin_30386713的博客
06-22 105
1、查看当前最大支持多少M show VARIABLES like '%max_allowed_packet%' 2、修改：set global max_allowed_packet = 20*1024*1024 这里改的是20M 3.百万数据只需设置set global max_allowed_packet = 100*1024*1024即可 转...
百万数据怎么入库mysql mysql百万级数据
wbryze的博客
08-21 228
最近一段时间参与的项目要操作百万级数据量的数据，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速度简直无法容忍。10、在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。首先，数据量大的时候，应尽量避免全表扫描，应考虑在 where 及 order by 涉及的列上建立索引，建索引可以大大加快数据的检索速度。1、应尽量避免在 where 子句中使用!
MySQL单表数据量过千万，采坑优化记录，完美解决方案
王翼鹏的博客
03-27 714
mysql 优化指南
Java多线程百万数据快速入库
Chaoge的博客
08-24 1514
Java多线程实现百万数据快速入库
在VB6数据库程序开发中使用ADO和SQL.doc
最新发布
07-15
4. **数据检索和统计**：通过SQL语句可以实现对数据库表中的数据进行检索和统计。例如，计算所有商品的总库存数量： ```vb Dim sql As String sql = "SELECT SUM(numInLib) AS TotalNum FROM wDetail" Dim ...
delph7 +sql 入库
01-14
本篇文章将深入探讨如何使用Delphi 7与SQL Server 2000进行数据入库操作，以及DBGrid和ADO框架在其中的角色。 首先，Delphi 7中的ADO（ActiveX Data Objects）是一种数据访问技术，它允许开发者通过标准接口与各种...
2024年最全Python爬虫实战（一）：翻页爬取数据存入SqlServer(1)
2401_84689601的博客
05-01 122
Win64;
Python爬虫实战（一）：翻页爬取数据存入SqlServer
m0_61549353的博客
04-30 528
给你们看看我爬取完的效果，保存在SqlServer中：爬取的内容是：商标名、商标价格、商标编号、所属类别、专用期限、类似群组、注册范围、商标图片地址准备工作import requests # python基础爬虫库from lxml import etree # 可以将网页转换为Elements对象import pymssql # 连接SqlServer的库为防止，字段给的不够，直接给个MAX！代码分析直接上完整代码，再逐步分析！import requests # python基础爬虫库。
MySQL中value和values的区别
tcliuwenwen的博客
09-16 4045
博文背景 MySQL中有values和value两个玩意，很多博客喜欢比较它们的区别，那么它们到底有什么区别呢？ 具体操作 VALUE is a synonym for VALUES in this context. Neither implies anything about the number of values lists, nor about the number of values per list. Either may be used whether there is a single va
数据库插入语句关于value和values
DR_FlySnow的博客
04-11 2007
学习数据库练习insert语句时，把insert into test values中的values意外写错成了value，但是发现执行是没有问题的，然后查了相关大佬的文档，发现这个问题已经被研究过了，其中用的都是values，自己尝试了一下把values换成value，结论是，两个都可以用，差别可以忽略不计。一些小尝试，每次都先会先清空表testt再执行插入语句。，都可以用，value通常会略微快一些，原理并不了解。，但是在插入int类型的字段时并没有报错，不排除偶然因素，但没有再做更多的数据尝试。
一行代码影响百万级数据获取入库
天翔空水木的专栏
11-30 300
背景： 从rabbitMQ 队列获取数据，每天300万数据，解析入库之后，再入Mongo 作为原始数据。 正常不会有队列堆积 问题： 一次更新代码后上线之后，队列堆积开始堆积，无法及时解析入库，而且队列不断在堆积。问同事，看了同事的代码，发现也没有加特别影响效率的代码。 但还原了了版本，再上线，发现队列解析入库立马提升了解析效率。队列开始下降。那最后还是确定是一定是加的代码有问题。 怀疑： 后来查...
MySql 快速插入百万级数据，连接数过多错误码收集
Benjamin CSDN博客
05-07 605
背景： 利用Python多线程进程Mysql数据库连接和插入数据操作测试，由于线程数过多到处数据库连接和插入数据时出现各种异常记录。 mysqlUtil.py # -*- coding: utf-8 -*- # @Software: PyCharm # @File : mysqlUtil.py # @Author : Benjamin # @Time : 2021/5/7 16:53 import threading import MySQLdb import s...
mysql中插入数据value与values的区别
barry的博客
09-27 6462
value与values区别 本文来自 予怀之言 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/qq_26683009/article/details/52526834?utm_source=copy http://dev.mysql.com/doc/refman/5.7/en/insert.html 看了一下官方文档，VALUE与VALUES都是正确的，经过验...
Mysql中插入语句value和values的区别
weixin_45481403的博客
11-29 2323
Mysql中插入语句，官方文档中VALUE和VALUES都是正确的，经过实际的操作也证实了两者也都是可以使用的。本文主要对二者插入语句数量的效率稍微的进行探究。 INSERT具体使用可查看：insert官方文档 【1】均插入一条语句时的执行时间 可以看出当只插入一条语句时，values的执行速度比value要快。 【2】插入10条数据 插入多条数据： 可见插入多条数据时，value更快一些...
第八十七章 SQL命令 VALUES
yaoxin521123的博客
11-26 9109
文章目录 第八十七章 SQL命令 VALUES大纲参数描述示例 第八十七章 SQL命令 VALUES 指定字段中使用的数据值的INSERT/UPDATE子句。 大纲 (field1{,fieldn}) VALUES (value1{,valuen}) 参数 field - 字段名或以逗号分隔的字段名列表。 value - 值或以逗号分隔的值列表。 每个值被赋给相应的字段。 描述 VALUES子句用于INSERT、UPDATE或INSERT or UPDATE语句中，以指定要插入到字段中的数
你会用java写一个关于数据入库的代码吗
09-06
### 回答1： 当然可以，以下是一个使用Java编写的基本数据入库示例： ```java import java.sql.*; public class DataInsertionExample { static final String JDBC_DRIVER = "com.mysql.jdbc.Driver"; static final String DB_URL = "jdbc:mysql://localhost/mydatabase"; static final String USER = "root"; static final String PASS = "password"; public static void main(String[] args) { Connection conn = null; Statement stmt = null; try { // 注册 JDBC 驱动器 Class.forName(JDBC_DRIVER); // 打开一个连接 System.out.println("连接数据库..."); conn = DriverManager.getConnection(DB_URL, USER, PASS); // 执行查询 System.out.println("实例化Statement对象..."); stmt = conn.createStatement(); String sql; sql = "INSERT INTO Employees (id, first, last, age) VALUES (100, 'John', 'Doe', 30)"; stmt.executeUpdate(sql); // 完成 System.out.println("数据已成功插入！"); // 清理环境 stmt.close(); conn.close(); } catch(SQLException se) { // 处理 JDBC 错误 se.printStackTrace(); } catch(Exception e) { // 处理 Class.forName 错误 e.printStackTrace(); } finally { // 关闭资源 try { if(stmt!=null) stmt.close(); } catch(SQLException se2) { } // 什么也不做 try { if(conn!=null) conn.close(); } catch(SQLException se) { se.printStackTrace(); } } } } ``` 在这个示例中，我们使用JDBC驱动程序连接到MySQL数据库，并在示例中插入了一条记录到“Employees”表中。请注意，您需要更改连接URL、用户名和密码以反映您自己的数据库连接信息，以及更改插入语句以反映您自己的表和字段名称。 ### 回答2： 是的，我会使用Java编写一个关于数据入库的代码。 首先，我会使用Java的数据库连接API（如JDBC）来连接到数据库。然后，我将创建一个表来存储数据，包括所需的列和数据类型。接下来，我会编写一个Java类，包含插入数据的方法。 在插入数据的方法中，我会使用SQL INSERT语句来将数据插入到数据库表中。我会使用Java的预编译语句来执行SQL语句，并将数据以参数的形式传递给SQL语句。这样可以防止SQL注入攻击。 在方法内部，我会使用try-catch语句来处理可能的异常，如数据库连接错误或SQL语句执行错误。如果发生异常，我会记录错误信息并在控制台或日志中打印出来。 最后，我会在应用程序中调用这个插入数据的方法，将需要入库的数据作为参数传递给方法，以实现数据入库的功能。 总的来说，我了解Java编程语言和数据库连接技术，可以使用Java编写关于数据入库的代码。我将会创建表、编写插入数据的方法，并处理可能的异常情况，以确保数据能够正确入库。 ### 回答3： 是的，我可以使用Java编写一个关于数据入库的代码。 首先，我可以使用Java的数据库连接API（如JDBC）来连接数据库。然后，我可以使用Java的相关API（如PreparedStatement）来执行插入语句。 在编写代码之前，我需要先定义数据库表的结构，包括表名和列名。接下来，我可以创建一个适当的Java类来表示数据库表的模型。 在编写数据入库的代码之前，我需要获取需要插入的数据。这些数据可以来自于用户的输入，或者由其他程序生成。一旦我获取了数据，我可以使用Java的SQL语句来构造插入语句。 例如，我可以使用如下的代码来插入一条数据： ```java try { // 连接数据库 Connection connection = DriverManager.getConnection("jdbc:mysql://localhost/test_db", "username", "password"); // 构造插入语句 String sql = "INSERT INTO table_name (column1, column2, column3) VALUES (?, ?, ?)"; // 创建PreparedStatement对象 PreparedStatement preparedStatement = connection.prepareStatement(sql); // 设置插入语句中的参数 preparedStatement.setString(1, value1); preparedStatement.setInt(2, value2); preparedStatement.setDouble(3, value3); // 执行插入操作 int rowsAffected = preparedStatement.executeUpdate(); if (rowsAffected > 0) { System.out.println("数据插入成功！"); } } catch (SQLException e) { e.printStackTrace(); } ``` 在这个示例中，`getConnection()`用于连接到数据库，并且需要提供数据库的URL、用户名和密码。然后，我使用`prepareStatement()`构建插入语句，并使用`setXXX()`方法设置插入语句中的参数。最后，使用`executeUpdate()`方法执行插入操作，并检查返回的受影响行数来确认插入是否成功。 通过编写类似的代码，我可以根据具体的业务需求编写更多的数据入库逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值