GBase 8a 磁盘I/O需求评估

磁盘配置建议,一方面是保障磁盘的高可用性,另一方面是为了保证更高的I/O性能来满足磁盘I/O需求。

磁盘I/O性能需求的评估方法以举例形式说明如下:

某电信运营商的营销分析系统,其用户数(电话号码)为3000万,每用户的数据为10k,每次即席复杂查询时内存可过滤90%的数据,需要I/O读取的数据量为3000万*10k*10%=30G。

该营销分析系统的磁盘I/O需求计算依赖以下几个方面:

  • 数据库并发数为20;
  • 平均单位即席复杂查询需访问的数据量为30G;
  • 平均单位即席复杂查询耗时180秒

测算I/O吞吐为:A*B/C=20*30*1024/180=3410M/s,考虑系统IO能力预留30%,则磁盘I/O性能需求评估为3410/70%=4800M/s。

在GBase集群节点的读写I/O性能为200M/s的情况下,需要搭建24个节点的GBase集群来满足该营销分析系统的I/O需求;假设该营销分析系统的集群节点数在设计初期设定为12个,则要求服务器配备I/O读写性能达到400M/s。

在高并发查询场景下,磁盘的I/O瓶颈主要是IOPS资源瓶颈。根据GBase 8a集群在详单查询类场景下的经验,建议内存可缓存50%以上的查询热数据,另外50%的查询结果数据需要通过扫描磁盘上的数据文件获取,对IOPS的需求的计算公式为:

IOPS需求=平均查询结果行数*0.5*投影列个数*查询并发数/计算节点数/要求响应时间

说明:需要查询条件HASH分布列的等值条件;针对固定的投影列需要创建行存列降低IOPS需求。

如20个计算节点的集群中,承载200并发的基于HASH分布列的简单查询,查询结果行数平均为100行,投影列个数平均为10个(其中6个投影字段为维度字段可创建为行存列,即每个查询需要进行4个独立列和1个行存列的IO读取),要求查询响应时间不超过3秒,则每个集群节点的IOPS需求可计算为100*0.5*5*200/20/3=833。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值