Mycat性能压力测试

最新推荐文章于 2024-02-22 11:08:37 发布
最新推荐文章于 2024-02-22 11:08:37 发布
阅读量1.2k 收藏 6
点赞数 2
分类专栏： Linux MySQL 数据库 文章标签： mysql mycat 压力测试 sysbench jmeter
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41668084/article/details/113488640
版权
Linux 同时被 3 个专栏收录
40 篇文章 0 订阅
订阅专栏
MySQL
18 篇文章 0 订阅
订阅专栏
数据库
7 篇文章 0 订阅
订阅专栏

一、前期准备

1.1 压测工具准备

二、压测工具及中间件服务器准备

2.1 压测工具服务器

测试工具系统内存CPUIP地址备注
JMeterWindows4G4localhost本机安装
SysbenchCentOS4G4192.168.61.41虚拟机安装

2.2 Mycat中间件

中间工具系统内存CPUIP地址备注
MycatCentOS4G4192.168.61.59本机安装

三、MySQL测试集群

3.1 MySQL测试集群统计

序号集群类型服务器类型CPU内存硬盘IP地址备注
1单库CentOS4核4G20G192.168.61.63
2单库分表CentOS4核4G20G192.168.61.65水平分表
3单库多表CentOS4核4G20G192.168.61.63
4主从多表CentOS4核4G20G192.168.61.61
192.168.61.62		读写分离
5多库分表CentOS4核4G20G192.168.61.16
192.168.61.17
192.168.61.18		多库水平分表

四、方案配置及压测结果

4.1 单库MySQL

4.1.1 Sysbench测试
4.1.1.1 方案配置

方案参考：https://blog.csdn.net/weixin_41668084/article/details/113407790

4.1.1.2 测试结果

TPS：1001.92 per/sec

QPS：20038.46 per/sec

20210129173727.png
4.1.2 JMeter测试
4.1.2.1 方案配置

方案参考：https://blog.csdn.net/weixin_41668084/article/details/113409902

4.1.2.1 测试结果

write：14323.77 per/sec

20210131224659

4.2 单库分表

4.2.1 Mycat配置

方案参考：https://blog.csdn.net/weixin_41668084/article/details/112238666

4.2.2 JMeter配置
4.2.2.1 数据写入

  1. 配置文件：https://gitee.com/gbc_sxy/imagebed/raw/master/img/20210131225725.jmx

  2. 测试命令

    .\jmeter.bat -n -t .\test-demo\单裤\Mycat压测线程组-插入.jmx -l .\result\t_user\insert.jtl -e -o .\result\insert

  3. 测试结果

    image-20210131230145892
4.2.2.2 数据更新

  1. 配置文件：https://gitee.com/gbc_sxy/imagebed/raw/master/img/20210131231211.jmx

  2. 测试命令

    .\jmeter.bat -n -t .\test-demo\单裤\Mycat压测线程组-更新.jmx -l .\result\t_user\insert.jtl -e -o .\result\update

  3. 测试结果

    image-20210131230950527
4.2.2.3 数据查询

  1. 配置文件：https://gitee.com/gbc_sxy/imagebed/raw/master/img/20210131231323.jmx

  2. 测试命令

    .\jmeter.bat -n -t .\test-demo\单裤\Mycat压测线程组-查询.jmx -l .\result\t_user\insert.jtl -e -o .\result\read

  3. 测试结果

    image-20210131231431566

4.3 单库多表

4.3.1 Mycat配置

参考连接：https://blog.csdn.net/weixin_41668084/article/details/112797427

schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<!-- name: 逻辑数据库名 -->
	<schema name="testdb" checkSQLschema="false" sqlMaxLimit="100">
		<!-- name: 表名，分表主键，子表，数据节点，分表规则 -->
		<table name="t_user" primaryKey="id" autoIncrement="true" subTables="t_user_$1-3" dataNode="dn1" rule="mod-long"/>
	<table name="t_month" primaryKey="id" autoIncrement="true" subTables="t_month_20201$1-2,t_month_20210$1-2" dataNode="dn1" rule="sharding-by-year"/>
        </schema>
	<!-- database:物理数据库名 -->
	<dataNode name="dn1" dataHost="localhost1" database="mytest"/>
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.61.63:3306" user="root" password="root">
			<!-- can have multi read hosts -->
			<readHost host="hostS1" url="192.168.61.63:3306" user="root" password="root"/>
		</writeHost>
	</dataHost>
</mycat:schema>
4.3.2 Sysbench配置

参考链接：https://blog.csdn.net/weixin_41668084/article/details/113407790

4.3.3 测试结果

  1. 直接测试MySQL

    image-20210131233703905

  2. 通过Mycat中间件连接

    image-20210131233736164

测试结论：mycat中间件连接数据库会有性能损耗。

4.4 主从复制

MySQL主从复制集群，可通过mycat实现读写分离。

4.4.1 Mycat配置

参考连接：https://blog.csdn.net/weixin_41668084/article/details/112797427

schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"></schema>
    <dataNode name="dn1" dataHost="host1" database="test" />
    <dataHost name="host1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <writeHost host="hostM1" url="192.168.61.61:3306" user="root" password="root">
            <!-- can have multi read hosts -->
            <readHost host="hostS1" url="192.168.61.62:3306" user="root" password="root" />
        </writeHost>
    </dataHost>
</mycat:schema>
4.4.2 Sysbench测试

  1. 方案配置

    参考方案：https://blog.csdn.net/weixin_41668084/article/details/113407790

  2. 测试结果

    1. MySQL直连测试

      mysql_1m-2s

    2. Mycat连接测试

      image-20210131235116274

4.5 多库分表

4.5.1 Mycat配置

参考连接：https://blog.csdn.net/weixin_41668084/article/details/112797427

schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<schema name="mytest" checkSQLschema="false" sqlMaxLimit="100">
		<!-- auto sharding by id (long) -->
		<!--splitTableNames 启用<table name 属性使用逗号分割配置多个表,即多个表使用这个配置-->
		<table name="t_user" dataNode="dn$1-3" rule="mod-long" splitTableNames="true"/>
	</schema>
	<!--数据节点-->
	<dataNode name="dn1" dataHost="localhost1" database="mycat"/>
	<dataNode name="dn2" dataHost="localhost2" database="mycat"/>
	<dataNode name="dn3" dataHost="localhost3" database="mycat"/>
	<!--节点配置-->
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.61.16:13306" user="root" password="123456"/>
	</dataHost>
	<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM2" url="192.168.61.17:13306" user="root" password="123456"/>
	</dataHost>
	<dataHost name="localhost3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM3" url="192.168.61.18:13306" user="root" password="123456"/>
	</dataHost>
</mycat:schema>
4.5.2 JMeter测试
4.5.2.1 数据写入

  1. 配置文件：https://gitee.com/gbc_sxy/imagebed/raw/master/img/20210201001213.jmx

  2. 执行命令

    .\jmeter.bat -n -t .\test-demo\分库\Mycat压测线程组-分库-插入.jmx -l .\result\t_user\insert.jtl -e -o .\result\t_user\insert

  3. 测试结果

    image-20210201001334637
4.5.2.1 数据更新

  1. 配置文件：https://gitee.com/gbc_sxy/imagebed/raw/master/img/20210201001411.jmx

  2. 执行命令

    .\jmeter.bat -n -t .\test-demo\分库\Mycat压测线程组-分库-更新.jmx -l .\result\t_user\update.jtl -e -o .\result\t_user\update

  3. 测试结果

    image-20210201001607656
4.5.2.1 数据读取

  1. 配置文件：https://gitee.com/gbc_sxy/imagebed/raw/master/img/20210201001415.jmx

  2. 执行命令

    .\jmeter.bat -n -t .\test-demo\分库\Mycat压测线程组-分库-读取.jmx -l .\result\t_user\read.jtl -e -o .\result\t_user\read

  3. 测试结果

    image-20210201001651879

五、测试结果汇总

5.1 数据汇总

测试原始数据下载

序号MySQL测试案例中间件压测工具Write(t/s)Update(t/s)Read(q/s)TPS (per/sec)QPS(per/sec)备注
1单机mysqlJmeter14323.77添加主键索引
单机mysqlSysbench1001.9220038.46
2单库分表Jmeter45180随机id更新和查询
3单库分表MycatJmeter1530043505400添加主键索引
4单库分表MycatJmeter5152.4613199.58添加主键索引，指定分区
5单库多表Sysbench72214456
6单库多表MycatSysbench55011018
7一主双从多表Sysbench443.218864.3
8一主双从多表MycatSysbench395.097903.73
9多库分表MycatJmeter11689.4820.341.3主键id分库
10多库分表MycatJmeter11567.255210.8311937.45添加主键索引，主键查询

5.2 数据图形化

image-20210201002754503

六、结论

  1. Mycat作为中间件，测试结果表现出有大幅度的性能损失，大约在10%~25%左右（仅供参考）。
  2. 如性能损失可接受，作为中间件Mycat确实可以满足我们生产中徐分库分表的大部分需求环境。
  3. Mycat作为一个开源中间件，实现了读写分离，数据分片，多数据源整合，避免了（Sharding-JDBC）的侵入式编程。
  4. 如果条件允许，建议使用功能更为强大和丰富的分布式开源数据库TIDB。
  5. 目前测试版本使用为：1.6.7.4，也可参考测试升级版的分布式关系型数据库Mycat2。

以上，仅供参考，如有错误，请指正！

参考链接

  1. mycat实战之性能测试
  2. MyCat性能优化
  3. Mycat 之路 | 性能测试
投身大海的魚
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
MySQL DBA必备的mycat性能测试案例
09-16
本篇将详细介绍mycat性能测试的相关知识点。 1. **mycat简介** mycat是基于Java开发的，它可以将一个大型数据库逻辑上切割成多个数据库实例，实现数据的自动分片，提供读写分离、故障切换等功能。这对于处理大规模...
Mycat性能测试指南1
08-08
【Mycat性能测试指南1】主要关注的是如何有效地对Mycat分布式数据库系统的性能进行测试和优化。Mycat是一个开源的分布式数据库中间件，它支持分片、读写分离等功能，常用于处理大数据量的场景。在进行性能测试时，...
Mycat性能调优指南
木生的博客
07-27 1万+
本篇内容来自于网络 JVM调优：  内存占用分两部分:java堆内存+直接内存映射（DirectBuffer占用），建议堆内存 适度大小，直接映射内存尽可能大，两种一起占据操作系统的1/2-2/3的内存。  下面以服务器16G内存为例，Mycat堆内存4G，直接内存映射6G，JVM参数如 下：  -server -Xms4G –Xmx4G   XX:MaxPermSize=64
MyCat在性能优化方面提供了哪些功能？
最新发布
qq_33240556的博客
02-22 247
2、SQL重写： 自动重写SQL查询，优化执行计划。4、连接池管理： 高效管理数据库连接，减少连接开销。1、查询缓存： 对常见查询进行缓存，加速响应速度。3、负载均衡： 在多个数据库节点之间进行负载均衡。
惊艳！阿里出产的MyCat性能笔记，带你领略什么叫细节爆炸
weixin_47083537的博客
09-27 779
如今随着互联网的发展，数据的量级也是成指数式的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求,这个时候NoSQL的出现暂时解决了这一危机。 它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。如何使用关系型数据库解决海量存储的问题呢？此时就需要做
mycat入门介绍基础认识
wade1010的专栏
01-15 83
相对于垂直拆分，水平拆分不是将表的数据做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。-由于数据库中间件对数据Join 实现的优劣难以把握，而且实现高性能难度极大，业务读取 尽量少使用多表Join-尽量通过数据冗余，分组避免数据垮库多表join。A. 客户端模式，在每个应用程序模块中配置管理自己需要的一个（或者多个）数据源，直接访问各个数据库，在模块内完成数据的整合；缺点：不够通用，数据库连接的处理复杂，对业务不够透明，处理复杂。-尽量不切分，架构是进化而来，不是一蹴而就。
Mycat生产实践---性能调优
yshir
11-04 672
主机调优 Linux主机的网络性能优化，mycat所在服务器多网卡绑定，bond技术，增加网络吞吐量。 TCP的性能取决于几方面因素，最重要的是链接带宽(link bandwidth)(报文在网络上传输的速率)和往返时间(round-trip time)或RTT(发送报文与接收到另一端的响应之间的延时)。这两个值确定称为BDP(Bandwidth Delay Prod-uct)的内容。BDP给出一种简单的方法计算理论上最优的TCP Socket缓冲区大小(其中保存排队等待传输和等待应用程序接收的数据)。缓
Mycat性能测试指南4
08-08
【Mycat性能测试指南4】主要关注的是对Mycat分布式数据库中间件进行性能测试的方法和工具。Mycat是一个开源的、基于Java开发的数据库分片中间件，用于解决大数据存储和高并发访问的问题。性能测试是为了评估和优化...
Mycat性能测试指南3
08-08
【Mycat性能测试指南3】的目的是对Mycat分布式数据库中间件的性能进行评估和优化。在进行性能测试之前，需要确保参照Mycat的性能调优指南，对系统进行最佳配置，以获得理想的运行状态。Mycat作为Java应用程序，其...
mycat1.3性能测试案例1
08-08
6. **压力测试**：在达到一定程度的并发用户数后，持续增加压力，直到系统出现性能下降或错误，以确定系统的最大承受能力。 7. **负载测试**：在预设的长时间内，保持稳定的高并发请求，评估系统在持续压力下的稳定...
MyCat2测试实战 -- 王者归来的故事
roykingw的专栏
06-22 3093
​ 关于MyCat，不用做过多介绍，曾经大名鼎鼎的分库分表中间件。诞生于2013年，从MyCat1.6版本之后，陷入了一段时间的沉寂。从2021年11月低开始，重新推出新版本的MyCat2，官网地址：http://www.mycat.org.cn/ 。​ 重要特性一目了然，独立，是他最大的标签。然后在他的Git仓库中，对产品有一个简单的介绍： ​ 立足于Sharding分库分表。简单、快速是MyCat2对自己最直白的声明。他的定位其实是代表了一整套基于MySQL的分布式数据处理系统，可以让MySQL拥有堪比
Mycat性能测试
hq333的专栏
03-07 1021
没实际的测试环境，用3个虚拟机进行。
Mycat批量插入性能测试
纸上得来终觉浅，绝知此事要躬行
06-06 1万+
本文采用mycat的values批量插入方式进行测试，连写的数据量达到8000左右事务提交可以达到每秒75000左右数据量，也证实了Mycat的效率是小于或等于Mysql的性能。在实际生产中，因为访问量和并发问题使得效率下降，这也是数据库底层IO无法避免的困境，所以实际生产中多采用主备-读写分离的方式进行分片处理，可以多设置几个Mycat的主备节点。本文采用的是一主一备，单个Mycat节点的读写分离之Mysql InnoDB的测试。
使用【MyCat】提升数据库性能
Future_LL的博客
01-20 572
一、海量数据的存储问题 如今随着互联网的发展，数据的量级也是指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系型数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，来获取性能上的提升。 但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个...
mycat性能测试和调优
chenwu3448的博客
05-09 871
./test_stand_insert_perf.sh jdbc:URL/DB user password100 file=../sql/insertTestFlow.sql 写入 ...
mycat 用Jconsole监控mycat压测的各种性能曲线
热门推荐
csdn's blog
07-17 1万+
1，最方便的Mycat监控工具—Jconsole JDK自带，Windows下图形界面，监控分析Java程序，进入jdk安装目录的bin下面，C:\Program Files\Java\jdk1.7.0_15\bin，双击jconsole.exe打开。 2，去查看后台jmx启动的端口 查看jmx进程号： [root@oracle_standby conf]# ps -eaf|...
Mycat性能测试：100并发插入1500万数据，TPS达17432
在本次性能测试中，Mycat展现出了良好的并发处理性能。硬件环境为HP ZooK，配备了8核CPU和16GB内存，这为Mycat提供了足够的计算资源来处理并发请求。Mycat的版本是1.2 (SVN 445)，使用默认参数，日志级别设定为Info...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值