厂商SSD对数据库性能影响 测试报告

最新推荐文章于 2024-09-05 09:34:12 发布
最新推荐文章于 2024-09-05 09:34:12 发布
阅读量233 收藏 1
点赞数
文章标签： 数据库
原文链接：https://my.oschina.net/u/3078255/blog/896630
版权

 

目录

1、前言.......................................................................................... 3

2、HDD测试.................................................................................. 4

3、SSD测试................................................................................... 5

4、数据分析.................................................................................. 7

5、参考文档................................................................................ 10

 

 

 

 

 

 

1.             前言

TPC(Transaction Processing Performance Council，事务处理性能委员会)是由数十家会员公司创建的非盈利组织，总部设在美国。TPC的成员主要是计算机软硬件厂家，而非计算机用户，其功能是制定商务应用基准程序的标准规范、性能和价格度量，并管理测试结果的发布。

TPC Benchmark H(TPC-H)是一个决策支持的基准测试，是美国事务处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前,在学术界和工业界普遍采用它来评价决策支持技术方面应用的性能. 这种商业测试可以全方位评测系统的整体商业计算综合能力，对厂商的要求更高，同时也具有普遍的商业实用意义，目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间。基准里选择的查询和组成数据库的数据在商业上都具有广泛的代表性并且易于实现。

本文选择Mysql数据库进行TPCH测试，在此基础上对比厂商SSD和希捷HDD对Mysql性能影响。具体测试机配置如下表。

测试机

Lenovo RD640

CPU

E5-2650 0 @ 2.00GHz(8 core,16 threads,L3 cache 20MB)

内存

64G(16G*4)

RAID卡

LSI MegaRAID SAS 9270-8i,1024MB,BBU: Absent,Serial No: SV32790598

系统

CentOS release 6.4 (Final)

内核

2.6.32-358.el6.x86_64 #1 SMP

IO调度

cfq

MySQL版本

mysql-5.6.26-linux-glibc2.5-x86_64

MySQL引擎

InnoDB

 

2.             基准测试

2.1 测试环境

raid级别

raid 0

文件系统

ext4

硬盘

7.99 TB(2.0TB*4),RAID0

Logical Unit id:      0x6003048006742a001f693d4136dabc1d

Serial number:      001dbcda36413d691f002a7406800403

Product:           MR9270-8i希捷3.5’ 7200r SATA

 

 

2.2 dd测试结果

SSD RAID0写速度1.5GB/s，读的速度是1.7GB/s

122240_bZDo_3078255.png

122256_GOs3_3078255.png

 

HDD RAID0写速度600 MB/s，读的速度是600 MB/s.

122306_655X_3078255.png

 

 

2.3 hdparm测试结果

SSD RAID0读速度1.1GB/s，

HDD RAID0读速度600MB/s

122317_VbAm_3078255.png

 

 

2.4 iozone测试结果

SSD 测试数据

iozone -i 0 -i 1 -i 2 -s 200G -r 4M –f

 

"Writer report"

"4096"

"209715200" 717178

 

"Reader report"

"4096"

"209715200" 1564658

 

"Random read report"

"4096"

"209715200" 639057

 

"Random write report"

"4096"

"209715200" 933672

124153_Izr2_3078255.png

 

 

 

 

3.             HDD测试

3.1 测试环境

raid级别

raid 0

 

文件系统

ext4

 

硬盘

7.99 TB(2.0TB*4),RAID0

 

Logical Unit id:      0x6003048006742a001f693d4136dabc1d

 

Serial number:      001dbcda36413d691f002a7406800403

 

Product:           MR9270-8i希捷3.5’ 7200r SATA

 

测试工具

tpch

 

tpch测试参数：10G

 

MySQL关键选项配置(my.cnf)

innodb_additional_mem_pool_size=16M
innodb_buffer_pool_size=2G
innodb_flush_log_at_trx_commit=1
innodb_log_buffer_size=64M
innodb_log_file_size=256M
innodb_log_files_in_group=2
innodb_flush_method=O_DIRECT
innodb_file_per_table=1
innodb_status_file=1
max_heap_table_size=596M
tmp_table_size=596M
sort_buffer_size=2M
join_buffer_size=2M
read_buffer_size=2M
read_rnd_buffer_size=2M
query_cache_size=0

 

 

 

3.2 测试结果

 

本次测试开始于9月19日18:57，至今尚未完成，根据已经得到的结果推测，本测试至少还要持续三天。已经得到的结果如下：

 

TPC Benchmark Report  MySQL DatabaseTPCH
Report Date: 2016-9
stream0stream1stream2stream3avg
277.8913028  370.184679324.0379909
479.841408   479.841408
10523.0755722695.56025  16609.31791
172.895685  565.3705401369.1331126
6966.136368  9040.2237588003.180063
76.40911317 584.505641208.879921289.9315584
7123.28768  9996.2990488559.793364
10146.91581  21750.4389215948.67736
47867.34477   47867.34477
18533.17777   18533.17777
115.0532651   115.0532651
223.023978   223.023978
4861.213181   4861.213181
579.431931   579.431931
126.5252349   126.5252349
684.1672752   684.1672752
375.8714349 544.0872462513.667851477.8755107
5649.43297122526.2568  14087.84489
947.022248   947.022248
4062.367641   4062.367641
324.786751584.5642779  454.6755145
88.40759206   88.40759206
Measurement Results
Database Scale Factor                                   =10GB            
Query Streams 0:                                        =-
Query Streams 1:                                        =-
Query Streams 2:                                        =-
Query Streams 3:                                        =-
TPCH Power Tests Results                                =- 
TPCH Throughput Tests Results                           =-  
QPH Results                                             =-

 

注：超过3小时的查询被强制结束，没有实际结果。

4.             SSD测试

4.1 测试环境

 

raid级别

raid 0

 

文件系统

ext4

 

硬盘

256GB*4, RAID0

 

Logical Unit id:      0x600605b09a335c101f6936e7191adedf

 

Serial number:      00dfde1a19e736691f105c339ab00506

 

Product:           SMC2108

 

测试工具

tpch

 

tpch测试参数：10G

 

MySQL关键选项配置(my.cnf)

innodb_additional_mem_pool_size=16M
innodb_buffer_pool_size=2G
innodb_flush_log_at_trx_commit=1
innodb_log_buffer_size=64M
innodb_log_file_size=256M
innodb_log_files_in_group=2
innodb_flush_method=O_DIRECT
innodb_file_per_table=1
innodb_status_file=1
max_heap_table_size=596M
tmp_table_size=596M
sort_buffer_size=2M
join_buffer_size=2M
read_buffer_size=2M
read_rnd_buffer_size=2M
query_cache_size=0

 

 

 

4.2 测试结果

TPC Benchmark Report  MySQL DatabaseTPCH
Report Date: 2016-9
stream0stream1stream2stream3avg
253.8030119253.178118254.5133951250.9046381253.0997908
47.59240898.4492328176.7032589917.09485483217.45993888
17.5893769321.8395140227.8197231317.9967620421.31134403
12.6035940613.7359478521.6719939714.3255019215.58425945
12.7796261318.0151908415.411794914.4986140715.17630649
38.6423280240.9008891641.9776229939.1317770540.1631543
11.6558339617.6576838518.3008258315.5521490615.79162318
31.7513940336.2921600333.3869221229.5487089232.74479628
701.92165861.9694960170.157308169.32246304225.8427313
60.1093461571.4115829565.4080939373.7070610567.65902102
2.6863861084.5667321682.5225729942.9211878783.174219787
83.18252087114.2626851139.7387502129.2153101116.5998166
43.5163128449.8759288853.1257069147.4514319948.49234515
204.271553265.2590649370.2789879218.045083264.4636722
90.8758180191.7973260992.6829299990.7939078891.53749549
6.2045741086.9613609318.1344470985.8414711956.785463333
4.2621169095.6995420469.58684301410.463222037.502930999
137.348945989.2578511287.5641708489.17847204100.83736
2.3438510892.051526072.0724511152.0012578962.117271543
8.24338293111.2174081812.5676660523.5831680313.9029063
262.7944279301.377667228.567353300.3220942273.2653855
3.4126951693.4972801213.5048110493.5843009953.499771833
Measurement Results
Database Scale Factor                                   =10GB            
Query Streams 0:                                        =2111.973804
Query Streams 1:                                        =1489.368433
Query Streams 2:                                        =1565.79115915
Query Streams 3:                                        =1455.57658601
TPCH Power Tests Results                                =979988.8106  
TPCH Throughput Tests Results                           =1501.742128  
QPH Results                                             =38362.61829 

 

5.             数据分析

5.1 SSD VS SSD

对比SSD RAID0存储在不同内存buffer下的结果，通过图表可以发现内存buffer的提升在SSD存储的情况下对性能提升很小，查询时间基本没有变化。

 

130007_vzPj_3078255.png

130013_Rsbn_3078255.png

5.2 SSD VS HDD(buffer小于数据)

对比SSD和HDD在buffer(2G)明显小于数据(10G)的情况下的查询时间，通过图表可以发现，SSD对查询性能的提升非常巨大，多数查询获得10倍以上的性能提升，半数能够获得100倍的性能提升。

130022_VPoo_3078255.png

130028_yVNd_3078255.png

 

 

注：超过10000秒查询结果的统一设置为10000

5.3 SSD VS HDD(buffer大于数据)

对比SSD和HDD在buffer(26G)明显大于数据(10G)的情况下的查询时间，通过图表可以发现，SSD存储对性能提升很小，查询时间基本没有变化。

130041_MPDB_3078255.png

130049_q3t8_3078255.png

 

6.             参考文档

http://www.tpc.org/tpch/

http://imysql.com/2012/12/21/tpch-for-mysql-manual.html

https://www.percona.com/blog/2008/04/10/tpc-h-run-on-mysql-51-and-60/

 

转载于:https://my.oschina.net/u/3078255/blog/896630

chenxin_root123456
关注
全国产计算数据库性能测试报告---国产数据库性能对比
terry_chengq的博客
08-06 6295
原文出处：http://c.raqsoft.com.cn/article/1564972044122?r=CGQ 一、 测试背景 由于众所周知的世界经贸形势，拥有全面自主可控的IT解决方案成为摆在国家面前的一项重要任务。但是，由于目前国产芯片的性能还相对较弱，大多只能应用于OA等边缘业务，要用到关键业务中时就必须加大成本以扩大集群规模，这将进一步...
nvme linux读写测试工具,不同硬件平台(intel/AMD)和不同OS/FS/测试工具下NVMe SSD性能简测...
weixin_30914901的博客
05-07 1150
本帖最后由 镜音リン 于 2020-3-13 03:51 编辑目录：1. 概述2. 常见误区3. 测试方法4. 测试过程5. 结果统计6. 结论概述：自从很多年前开始做SSD方面的测试以来，我就和某些行业工作者产生了同感：存储性能测试基本是所有计算机硬件测试里最复杂困难的一项。存储系统的性能受到整个机器其他硬件甚至软件方面的影响：按ssd本身来说，在不同负载(线程数，队列深度，块大小，随机度等)环...
厂商SSD对数据库性能影响测试
Show something
05-10 2904
基于TPCH基准测试，对比SSD和HDD两种情况下MYSQL性能。
基于磁盘SSD混合存储的数据库
Zuoerfeng
11-13 2833
目前来说，闪存的价格仍然是高于磁盘，在很大一段时间内，都会出现磁盘和闪存共存的情形，在混合存储系统中，闪存在其中扮演的角色主要有三样：闪存代替磁盘作为某些特别数据的存储介质，例如事务的提交日志或者是数据库计算的中间数据存储，第二种是和内存的功能类似，作为磁盘的一个二级缓存，第三种是和磁盘的功能类型，和磁盘并列作为普通数据的存储介质。 1、闪存代替磁盘作为某种数据的存储介质 闪存作为事务日志持久化的...
SSD及其在数据库中的应用 （一）技术介绍
Sarah Cla的专栏
10-21 2408
1. SSD卡内部结构     为什么SSD比传统的HDD快很多?      首先，它没有寻道等机械操作的时间，另外一个重要因素，是因为，NAND芯片之间是并行的读写。     这也就是为什么么，同一系列的SSD，容量更大的读写速度更快，容量大，芯片多，并行度高，当然更快。     不过，速度的增长还是要受到接口标准极限的限制。 2. 单元结构   下面图中，是N
ssd 数据库安装步骤
yanweibing的专栏
04-18 345
首先，关于ssdb的编译，完全可以参考官方文档： http://ssdb.io/docs/zh_cn/install.html wget –no-check-certificate https://github.com/ideawu/ssdb/archive/master.zip unzip master cd ssdb-master make 将安装在 /usr/local/ssd...
存储系统设计——NVMe SSD性能影响因素一探究竟
xstardust的博客
10-30 485
摘要： NVMe SSD的性能时常捉摸不定，为此我们需要打开SSD的神秘盒子，从各个视角分析SSD性能影响因素，并思考从存储软件的角度如何最优化使用NVMe SSD，推进数据中心闪存化进程。本文从NVMe SSD的性能影响因素进行分析，并给出存储系统设计方面的一些思考。 目录 1 存储介质的变革  2 NVME SSD成为主流  2.1 NAND FLASH介质发展  2.2 软件层面看SSD—...
OpenGauss 高性能高安全高可靠的企业级开源关系型数据库
最新发布
纸上得来终觉浅，绝知此事要躬行
09-05 1217
openGauss是一款高性能、高安全、高可靠的企业级开源关系型数据库。openGauss内核深度融合华为在数据库领域多年的经验，结合企业级场景需求，持续构建竞争力特性。自 2020 年 6 月开源以来，openGauss 一直围绕高性能、高可用、高智能、高安全突破创新数据库核心技术，构筑数据库内核创新竞争力。3 月 31 日，openGauss 5.0 版本正式上线。该版本与之前的版本功能特性保持兼容，在内核能力、工具链、兼容性方面得到了全面增强。
如何进行服务器内存性能测试,服务器内存性能测试
weixin_35874254的博客
08-06 1358
服务器内存性能测试 内容精选换一换状态码如表9-1所示性能优化首先要较为精准的定位问题，分析系统性能瓶颈，然后根据其性能指标以及所处层级选择优化的方式方法。下面介绍MySQL数据库具体的调优思路和分析过程，如图1所示。调优分析思路如下：很多情况下压测流量并没有完全进入到服务端，在网络上可能就会出现由于各种规格(带宽、最大连接数、新建连接数等)限制，导致压测结果达不到预期。接着看关键指标是否满服务器...
LSI SAS2108/2208 windows驱动
06-13
LSI SAS2108/2208 windows驱动
SQL数据库性能胯了，换 SSD硬盘就能解决问题？
wujiandao的专栏
07-05 1654
点击蓝色“有关SQL”关注我哟加个“星标”，天天与10000人一起快乐成长2010年，上海张江，传奇广场。这里汇集了各路公交车，是张江男女必争之地。打工人最怕的是什么，不是996，不是00...
查看硬件信息
Black-REN
07-27 725
因为种种原来，我们可能需要查看linux服务器主板型号，cpu型号，内存大小，内存条数量等。因为服务器使用raid卡，平常查看硬盘信息的命令还不能用，待后面补充！ 查看主板型号  代码如下 复制代码 # dmidecode |grep -A 8 "System Information"  System Information         Manufactu
TPCH测试脚本
Show something
05-11 2527
tpch测试脚本
mysql数据库 写入速度慢
weixin_40453271的博客
07-03 118
数据库相关视频讲解：用python编程Excel有没有用处？解决MySQL数据库写入速度慢的方法 在实际的应用中，我们经常会遇到MySQL数据库写入速度慢的情况。这可能是由于数据库表设计不当、索引缺失、硬件性能不足等原因造成的。针对这种情况，我们可以通过一些方法来提高MySQL数据库的写入速度，提高系统的性能和稳定性。 ...
mysql ssd 性能测试 写入_sysbench mysql-ssd与hdd性能测试
weixin_34915171的博客
01-19 450
测试环境操作系统：CentOS7.2.1511 64位mysql：MySQL5.7.12 64位硬盘：SSD、HDD测试工具：sysbench0.5安装sysbench0.5更新和安装依赖包gitclonehttps://github.com/akopytov/sysbenchcdsysbench./autogen.sh# with-mysql-includes 指定MySQL安装目录# ...
文件系统ext4的优越性
weixin_33819479的博客
06-06 173
CentOS支持Ext4今天需要吧一个盘格式化Ext4.对我来说，有点挑战性，以前没怎么干过这个活。CentOS默认是不支持Ext4.所以你需要处理一下才行。使用环境使用的是CentOS5.5内核是2.6.18-194.el5其实CentOS5.5里面是有ext4模块的，只是没加载，所以我们先把模块加入系统#cd/lib/modules/2.6.18-194.el5...
linux磁盘的2048单位,Linux磁盘分区总结
weixin_39575758的博客
05-03 1219
8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？最近在做ceph的日志盘分区时候遇到一些问题记录下来。比较古老的分区工具是使用fdisk，后来因为磁盘越来越大，而fdisk遇到分区容量超过2TB时无能为力，并且分区还要限制最多4个主分区。越来越不适用现代磁盘，后来有了parted工具专门用来对大磁盘分区的。分区类型硬盘分区最常见的类型为msdos和gpt，前者表示MB...
2014.01.16 raid10
记录点滴
01-19 1454
cat /proc/scsi/scsi Host: scsi5 Channel: 02 Id: 00 Lun: 00   Vendor: SMC      Model: SMC2108          Rev: 2.13   Type:   Direct-Access                    ANSI  SCSI revision: 05 dmesg |grep -i
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值