mysql insert 压力大_MySql 插入(insert)性能测试

最新推荐文章于 2024-06-08 00:50:29 发布
最新推荐文章于 2024-06-08 00:50:29 发布
阅读量307 收藏
点赞数 1
文章标签： mysql insert 压力大
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33708633/article/details/113592033
版权

MySql 插入(insert)性能测试

作者：赵磊

博客：http://elf8848.iteye.com

测试环境：

笔记本电脑

CPU：I5

系统：MAC OS 10.7

内存：8G

硬盘：5400转，笔记本硬盘

MySql版本：Oracle官网下载的mysql-5.5.24-osx10.6-x86_64， 默认安装

MySql JDBC驱动版本：mysql-connector-java-5.1.20

MySql建表语句：

CREATE TABLE `dev`.`test_insert` (

`id` INT NOT NULL ,

`uname` VARCHAR(10) NULL ,

PRIMARY KEY (`id`) )

ENGINE = InnoDB;

测试结果 ：

创建连接用时355 ms

执行清理操作：成功

每执行100000次sql提交一次事务

MySql非批量插入10万条记录，用时12128 ms,平均每秒执行8245条

----------------------------------

创建连接用时13 ms

执行清理操作：成功

每执行10000次sql提交一次事务

MySql非批量插入10万条记录，用时11667 ms,平均每秒执行8571条

----------------------------------

创建连接用时13 ms

执行清理操作：成功

每执行1000次sql提交一次事务

MySql非批量插入10万条记录，用时11744 ms,平均每秒执行8514条

----------------------------------

创建连接用时12 ms

执行清理操作：成功

每执行100次sql提交一次事务

MySql非批量插入10万条记录，用时14796 ms,平均每秒执行6758条

----------------------------------

创建连接用时15 ms

执行清理操作：成功

每执行10次sql提交一次事务

MySql非批量插入10万条记录，用时15917 ms,平均每秒执行6282条

----------------------------------

创建连接用时14 ms

执行清理操作：成功

每执行1次sql提交一次事务

MySql非批量插入10万条记录，用时89030 ms,平均每秒执行1123条

----------------------------------

创建连接用时13 ms

执行清理操作：成功

每执行100000次sql提交一次事务

MySql批量插入10万条记录，用时1298 ms,平均每秒执行77041条

----------------------------------

创建连接用时16 ms

执行清理操作：成功

每执行10000次sql提交一次事务

MySql批量插入10万条记录，用时1221 ms,平均每秒执行81900条

----------------------------------

创建连接用时12 ms

执行清理操作：成功

每执行1000次sql提交一次事务

MySql批量插入10万条记录，用时1418 ms,平均每秒执行70521条

----------------------------------

创建连接用时15 ms

执行清理操作：成功

每执行100次sql提交一次事务

MySql批量插入10万条记录，用时2252 ms,平均每秒执行44404条

----------------------------------

创建连接用时13 ms

执行清理操作：成功

每执行10次sql提交一次事务

MySql批量插入10万条记录，用时9139 ms,平均每秒执行10942条

----------------------------------

创建连接用时10 ms

执行清理操作：成功

每执行1次sql提交一次事务

MySql批量插入10万条记录，用时80250 ms,平均每秒执行1246条

----------------------------------

测试代码：

package com.devplatform.module.core.dao.jdbc;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.SQLException;

import java.sql.Statement;

/**

MySql 插入(insert)性能测试

Oracle 插入(insert)性能测试

MySql建表语句：

CREATE TABLE `dev`.`test_insert` (

`id` INT NOT NULL ,

`uname` VARCHAR(10) NULL ,

PRIMARY KEY (`id`) )

ENGINE = InnoDB;

*/

public class JdbcInsterTest {

static int count=100000;//总次数

//一定要写rewriteBatchedStatements参数，Mysql批量插入才性能才理想

static String mySqlUrl="jdbc:mysql://127.0.0.1:3306/dev?rewriteBatchedStatements=true";

static String mySqlUserName="root";

static String mySqlPassword="1234";

static String oracleurl="jdbc:oracle:thin:@192.168.10.139:1521:orcl";

static String oracleuserName="scott";

static String oraclepassword="tiger";

static String sql = "insert into test_insert(id,uname) values(?,?)";

//每执行几次提交一次

static int[] commitPoint={count,10000,1000,100,10,1};

public static void main(String[] args) {

for(int point:commitPoint){

test_mysql(point);

}

for(int point:commitPoint){

test_mysql_batch(point);

}

// for(int point:commitPoint){

// test_oracle(point);

// }

// for(int point:commitPoint){

// test_oracle_batch(point);

// }

}

/**

* 创建连接

* @return

*/

public static Connection getConn(String flag){

long a=System.currentTimeMillis();

try {

if("mysql".equals(flag)){

Class.forName("com.mysql.jdbc.Driver");

Connection conn = DriverManager.getConnection(mySqlUrl, mySqlUserName, mySqlPassword);

conn.setAutoCommit(false);

return conn;

}else if("oracle".equals(flag)){

Class.forName("oracle.jdbc.OracleDriver");

Connection conn = DriverManager.getConnection(oracleurl, oracleuserName, oraclepassword);

conn.setAutoCommit(false);

return conn;

}else{

System.out.println();

throw new RuntimeException("flag参数不正确,flag="+flag);

}

} catch (Exception ex) {

ex.printStackTrace();

}finally{

long b=System.currentTimeMillis();

System.out.println("创建连接用时"+ (b-a)+" ms");

}

return null;

}

/**

* 关闭连接

* @return

*/

public static void close(Connection conn){

try {

if(conn!=null){

conn.close();

}

} catch (SQLException e) {

e.printStackTrace();

}

}

/**

* 删除旧数据

* @return

*/

public static void clear(Connection conn){

try{

Statement st=conn.createStatement();

boolean bl=st.execute("delete FROM test_insert");

conn.commit();

st.close();

System.out.println("执行清理操作："+(bl==false?"成功":"失败"));

}catch(Exception e){

e.printStackTrace();

}

}

/**

* 打印信息

* @return

*/

public static void print(String key,long startTime,long endTime,int point){

System.out.println("每执行"+point+"次sql提交一次事务");

System.out.println(key+"，用时"+ (endTime-startTime)+" ms,平均每秒执行"+(count*1000/(endTime-startTime))+"条");

System.out.println("----------------------------------");

}

/**

* mysql非批量插入10万条记录

*/

public static void test_mysql(int point){

Connection conn=getConn("mysql");

clear(conn);

try {

PreparedStatement prest = conn.prepareStatement(sql);

long a=System.currentTimeMillis();

for(int x = 1; x <= count; x++){

prest.setInt(1, x);

prest.setString(2, "张三");

prest.execute();

if(x%point==0){

conn.commit();

}

}

long b=System.currentTimeMillis();

print("MySql非批量插入10万条记录",a,b,point);

} catch (Exception ex) {

ex.printStackTrace();

}finally{

close(conn);

}

}

/**

* mysql批量插入10万条记录

*/

public static void test_mysql_batch(int point){

Connection conn=getConn("mysql");

clear(conn);

try {

PreparedStatement prest = conn.prepareStatement(sql);

long a=System.currentTimeMillis();

for(int x = 1; x <= count; x++){

prest.setInt(1, x);

prest.setString(2, "张三");

prest.addBatch();

if(x%point==0){

prest.executeBatch();

conn.commit();

}

}

long b=System.currentTimeMillis();

print("MySql批量插入10万条记录",a,b,point);

} catch (Exception ex) {

ex.printStackTrace();

}finally{

close(conn);

}

}

/**

* oracle非批量插入10万条记录

*/

public static void test_oracle(int point){

Connection conn=getConn("oracle");

clear(conn);

try {

PreparedStatement prest = conn.prepareStatement(sql);

long a=System.currentTimeMillis();

for(int x = 1; x <= count; x++){

prest.setInt(1, x);

prest.setString(2, "张三");

prest.execute();

if(x%point==0){

conn.commit();

}

}

long b=System.currentTimeMillis();

print("Oracle非批量插入10万记录",a,b,point);

} catch (Exception ex) {

ex.printStackTrace();

}finally{

close(conn);

}

}

/**

* oracle批量插入10万条记录

*/

public static void test_oracle_batch(int point){

Connection conn=getConn("oracle");

clear(conn);

try {

PreparedStatement prest = conn.prepareStatement(sql);

long a=System.currentTimeMillis();

for(int x = 1; x <= count; x++){

prest.setInt(1, x);

prest.setString(2, "张三");

prest.addBatch();

if(x%point==0){

prest.executeBatch();

conn.commit();

}

}

long b=System.currentTimeMillis();

print("Oracle批量插入10万记录",a,b,point);

} catch (Exception ex) {

ex.printStackTrace();

}finally{

close(conn);

}

}

}

分享到：

18e900b8666ce6f233d25ec02f95ee59.png

72dd548719f0ace4d5f9bca64e1d7715.png

2014-10-09 10:45

浏览 129

评论

不想不见
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql批量insert数据数量_mysql大批量插入数据四种方法
weixin_39756336的博客
01-19 2255
mysql大批量插入数据四种方法方法一：循环插入这个也是最普通的方式，如果数据量不是很大，可以使用，但是每次都要消耗连接数据库的资源。大致思维如下(我这里写伪代码，具体编写可以结合自己的业务逻辑或者框架语法编写)for($i=1;$i<=100;$i++){$sql = 'insert...............';//querysql}foreach($arr as $key =>...
mysql insert 日期格式_MySQL的日期格式
weixin_39792049的博客
01-27 3495
MySQL的五种时间和日期类型YEAR表示年份：字节数为1，取值范围为“1901——2155”DATE表示日期：字节数为4，取值范围为“1000-01-01——9999-12-31”TIME表示时间：字节数为3，取值范围为“-838:59:59——838:59:59”DATETIME和TIMESTAMP表示日期和时间DATETIME：字节数为8，取值范围为“1000-01-01 00:00:00—...
mysql insert as select_mysql 几种插入数据的方法
weixin_42393526的博客
01-27 2100
在MySQL中进行条件插入数据时，可能会用到以下语句，现小结一下。我们先建一个简单的表来作为测试：CREATE TABLE `books` (`id` INT(11) NOT NULL AUTO_INCREMENT,`name` VARCHAR(200) NOT NULL,PRIMARY KEY (`id`),UNIQUE KEY `NewIndex1` (`name`)) ENGINE=Inno...
mysql insert 指定列_MySQL中插入数据列到特定列
weixin_42400669的博客
01-20 5868
MySQL中插入数据列的命令alter table tablename add column_definition，如果不指定数据列的位置的时候，插入的列一般在最后，如MySQL中插入数据列的命令alter table tablename add column_definition，如果不指定数据列的位置的时候，插入的列一般在最后，如果要插入到特定的列后则：alter table tablenam...
Mysql使用中的性能优化——单次插入和批量插入的性能差异
方亮的专栏
06-08 828
一般Mysql的客户端和服务端不在一台机器上，所以它们之间的通信需要通过网络进行。我们本次实验，希望抛开网络的影响，测试不同SQL方案在Mysql服务器上的执行效率的对比。于是我们使用“存储过程”来辅助测试。
mysql insert into_MySQL 插入数据（ INSERT INTO）
weixin_36193839的博客
01-18 2002
INSERT INTO在创建数据库完成之后，我们需往数据库中出入数据，在MySQL中可以使用INSERT语句向数据库已有数据库表插入一行或者多行数据基本语法：INSERT语句有两种语法形式，分别是INSERT..VALUES....语句和INSERT...SET...语句两种语法的使用方式如下：INSERT LALUES:：INSERT INTO 表名 (列明,列明1,列明2...)VALUES(...
mysql insert和update_详解MySQL数据库insert和update语句
weixin_42407741的博客
01-27 7869
用于操作数据库的SQL一般分为两种，一种是查询语句，也就是我们所说的SELECT语句，另外一种就是更新语句，也叫做数据操作语句。SQL语句中的更新语句update是最常用的语句之一，言外之意，就是对数据进行修改。在标准的SQL中有3个语句，它们是INSERT、UPDATE以及DELETE。用于操作数据库的SQL一般分为两种，一种是查询语句，也就是我们所说的SELECT语句，另外一种就是更新语句，也...
mysql insert语句大全_MySQL中insert into语句的6种写法
热门推荐
weixin_42542420的博客
01-19 1万+
insert into是mysql中最常用的插入语句，它有6种写法。1向原表中某些字段中插入一条记录。语法：insert into +表名(表中的字段，，)value(字段所对应的记录，，);mysql> select * from joke;+------+-----------+-------+------+| gid | name | sex | age |+----...
mysql insert into as_mysql insert into select使用方法详解
weixin_39602976的博客
01-18 5579
mysql insert into select使用方法详解2017-11-22 15:47我们先来看看mysql insert into select的语法规则。INSERT [LOW_PRIORITY | HIGH_PRIORITY] [IGNORE][INTO] tbl_name[(col_name [, col_name] ...)]SELECT ...[ON DUPLICATE KEY ...
mysql insert or replace_mysql 操作总结 INSERT和REPLACE
weixin_34649372的博客
01-19 3787
言外之意，就是对数据进行修改。在标准的SQL中有3个语句，它们是INSERT、UPDATE以及DELETE。在MySQL中又多了一个REPLACE语句，因此，本文以MySQL为背景来讨论如何使有SQL中的更新语句。一、INSERT和REPLACEINSERT和REPLACE语句的功能都是向表中插入新的数据。这两条语句的语法类似。它们的主要区别是如何处理重复的数据。1. INSERT的一般用法MyS...
mysql insert太频繁_MySQL Insert语句单个批次数量过多导致的CPU性能问题分析
weixin_42410443的博客
01-19 1337
【问题】最近有台服务器比较频繁的CPU报警，表现的特征有CPU sys占比偏高，大量慢查询，大量并发线程堆积。后面开发对insert的相关业务限流后，服务器性能恢复正常。【异常期间线程处理情况】下图是当时生产环境异常时抓取的信息，该事务正在执行insert，已经执行5秒，线程运行在innodb内核，状态是thread declared inside InnoDB，还有4906 tickets可用统...
Mysql中LAST_INSERT_ID()的函数使用详解
12-15
在MySQL数据库中，LAST_INSERT_ID()函数是一个非常实用的工具，尤其在处理多表关联或者需要获取最新插入记录的自增ID时。该函数的主要作用是返回最近一次执行的INSERT或UPDATE语句对具有AUTO_INCREMENT属性的列所...
逐步分析MySQL从库com_insert无变化的原因
09-10
MySQL从库中的`com_insert`计数器未变化的问题，通常是由于复制机制的不同配置或异常情况导致的。在MySQL的主从复制过程中，确保主库和从库的数据一致性至关重要。`com_insert`变量用于记录执行的`INSERT`语句数量，...
MYSQL 小技巧 -- LAST_INSERT_ID
10-29
用PHP调用mysql ， 内置的LAST_INSERT_ID() 这个函数可能没有什么人用，用的最多的还是 mysql_insert_id()
如何优化MySQL insert性能
12-14
在优化MySQL的INSERT性能时，面对大量数据的系统，我们需要考虑如何有效地减少插入时间，以降低潜在的风险和提高系统的稳定性。以下是一些经过测试的有效策略： 1. **批量插入**： - 传统的方式是逐行插入数据，...
MYSQL 小技巧 — LAST_INSERT_ID
12-18
与之相比，`mysql_insert_id()`函数返回的是`int`类型，如果表中的ID字段是无符号整型（`unsigned int`）或大整型（`bigint`），可能会出现返回错误的情况。在这种情况下，应该优先选择`LAST_INSERT_ID()`来获取正确...
聊天室、websocket、socket.io、毕业设计.zip
07-27
聊天室、websocket、socket.io、毕业设计.zip
微麦电影购票小程序，分为三部分-小程序端-商家（影院）后台与官方后台.zip
最新发布
07-27
微麦电影购票小程序，分为三部分-小程序端-商家（影院）后台与官方后台.zip
防盗门进销存管理系统（SDIMS）.zip
07-27
防盗门进销存管理系统（SDIMS）.zip
mysql insert into to_date
08-25
您可以使用以下语法将数据插入到MySQL表中： ``` INSERT INTO table_name (column1, column2, column3, ...) VALUES (value1, value2, value3, ...); ``` 在上述语法中，`table_name`是要插入数据的表名，`column1, column2, column3, ...`是要插入数据的列名，`value1, value2, value3, ...`是要插入到相应列中的值。 如果您的目标是插入一个日期值，您可以按照以下方式使用`INSERT INTO`语句： ``` INSERT INTO table_name (date_column) VALUES ('YYYY-MM-DD'); ``` 在这个例子中，`table_name`是您要插入数据的表名，`date_column`是日期列的名称，`'YYYY-MM-DD'`是您要插入的日期值，其中`YYYY`代表年份，`MM`代表月份，`DD`代表日期。 请根据您的实际需求替换表名、列名和日期值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值