mysql开启批量执行sql参数allowMultiQueries与批处理 rewriteBatchedStatements=true(加速batchUpdate)

75 篇文章 5 订阅

allowMultiQueries=true参数的作用:

  1. 可以在sql语句后携带分号,实现多语句执行。
  2. 可以执行批处理,同时发出多个SQL语句。

demo:

url:
jdbc:mysql://XXX.XXX.XXX.XXX:3306/xxx?autoReconnect=true&failOverReadOnly=false&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true

官方文档的解释
https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-reference-configuration-properties.html
在这里插入图片描述

批处理 rewriteBatchedStatements=true

关于rewriteBatchedStatements这个参数介绍:

MySQL的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。

MySQL JDBC驱动在默认情况下会无视executeBatch()语句,把我们期望批量执行的一组sql语句拆散,一条一条地发给MySQL数据库,批量插入实际上是单条插入,直接造成较低的性能。
只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL
另外这个选项对INSERT/UPDATE/DELETE都有效

添加rewriteBatchedStatements=true这个参数后的执行速度比较:
同个表插入一万条数据时间近似值:
JDBC BATCH 1.1秒左右 > Mybatis BATCH 2.2秒左右 > 拼接SQL 4.5秒左右

demo:
master.jdbc.url=jdbc:mysql://112.126.84.3:3306/outreach_platform?useUnicode=true&characterEncoding=utf8&allowMultiQueries=true&rewriteBatchedStatements=true

ps:mysql的话只要在url后面加上&rewriteBatchedStatements=true即可,但是sqlServer则需要以分号分隔;rewriteBatchedStatements=true

### 回答1: MySQL中循环批量执行脚本可以使用存储过程或者循环语句实现。下面是一个使用循环语句实现的示例: 首先,创建一个包含待执行语句的表。该表可以包含一列或多列,每一行表示一个待执行的语句。 ```sql CREATE TABLE `batch_scripts` ( `id` INT NOT NULL AUTO_INCREMENT, `script` TEXT NOT NULL, PRIMARY KEY (`id`) ); ``` 然后,向`batch_scripts`表中插入待执行的脚本语句。 ```sql INSERT INTO `batch_scripts` (`script`) VALUES ('INSERT INTO `users` (`name`, `age`) VALUES (\'John\', 25)'); INSERT INTO `batch_scripts` (`script`) VALUES ('INSERT INTO `users` (`name`, `age`) VALUES (\'Alice\', 30)'); INSERT INTO `batch_scripts` (`script`) VALUES ('INSERT INTO `users` (`name`, `age`) VALUES (\'Bob\', 28)'); ``` 接下来,使用循环语句执行这些脚本语句。 ```sql DECLARE done INT DEFAULT FALSE; DECLARE script TEXT; DECLARE cursor_name CURSOR FOR SELECT `script` FROM `batch_scripts`; DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = TRUE; OPEN cursor_name; read_loop: LOOP FETCH cursor_name INTO script; IF done THEN LEAVE read_loop; END IF; -- 执行脚本语句 SET @sql = script; PREPARE stmt FROM @sql; EXECUTE stmt; DEALLOCATE PREPARE stmt; END LOOP; CLOSE cursor_name; ``` 以上示例中,我们创建了一个`batch_scripts`表,用于存储待执行的脚本语句。然后,使用游标逐行读取这些脚本语句,并执行它们。注意,在循环中我们使用了`PREPARE`语句和`EXECUTE`语句来动态执行脚本语句。 通过这种方式,我们可以实现MySQL中循环批量执行脚本的功能。 ### 回答2: 在MySQL中,可以使用循环批量执行脚本的方法是使用存储过程。存储过程是一组预定义的SQL语句集合,可以在MySQL中创建、编译和执行。 首先,我们需要创建一个存储过程。例如,下面是一个简单的示例,该存储过程用于更新一个表的特定字段: ```sql DELIMITER // CREATE PROCEDURE batch_update() BEGIN DECLARE i INT DEFAULT 1; DECLARE limit_val INT; DECLARE id_val INT; SET limit_val = (SELECT COUNT(*) FROM your_table); WHILE i <= limit_val DO SET id_val = (SELECT id FROM your_table WHERE row_num = i); -- 执行你需要的批量操作,例如更新字段 SET i = i + 1; END WHILE; COMMIT; END // DELIMITER ; ``` 在上面的示例中,我们首先使用`DELIMITER`命令将分隔符设置为`//`,因为存储过程中包含了多个SQL语句。然后,使用`CREATE PROCEDURE`语句创建一个名为`batch_update`的存储过程。在存储过程中,我们声明了一些变量,并将表的总行数赋值给`limit_val`。然后,使用循环`WHILE`语句,将id值从表中逐个取出,并执行batch操作,例如更新字段的值。 创建存储过程后,我们可以使用以下语句来调用它: ```sql CALL batch_update(); ``` 这样,存储过程中的逻辑将被执行,并循环批量执行相应的脚本。需要注意的是,在存储过程中,我们使用`COMMIT`语句进行事务的提交。 以上是使用存储过程实现在MySQL中循环批量执行脚本的方法。当然,还有其他方法可以实现类似的功能,例如使用游标进行循环操作。 ### 回答3: MySQL循环批量执行脚本的方法有多种。以下是其中几种常见的方法: 1. 使用循环控制语句:可以使用MySQL的循环控制语句来实现对脚本进行循环批量执行。例如,使用WHILE循环结合条件判断来执行脚本,根据需要可以在循环中动态改变执行参数值。 2. 使用游标(Cursor):MySQL提供了游标(Cursor)来处理查询结果集,可以通过定义游标、循环遍历游标并执行相应的操作,实现对脚本的批量执行。 3. 使用存储过程(Stored Procedure):可以在MySQL中创建存储过程,并在存储过程中定义循环逻辑和参数,通过调用存储过程来实现对脚本的批量执行。 4. 调用外部脚本:可以将需要批量执行的脚本写入到一个外部脚本文件中,然后使用MySQL的命令行工具或其他编程语言来调用并执行该外部脚本,实现对脚本的批量执行。 无论使用哪种方法,都需要根据具体的需求和场景来确定最适合的方法。在实际应用中,根据数据的大小和复杂度,选择合适的方法可以提高脚本的执行效率和性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值