大数据平台测试目标与测试指标

测试的目标

1、找到硬件设备的性能拐点,为设备规划合理的工作负载;(硬件的利用率和负荷处于较高水平,可能宕机或拖慢服务的响应速度)

2、找到系统的性能瓶颈,优化服务的实现方式;(硬件的利用率和负荷处在正常水平,但是服务响应的延迟时间比较长)

3、回答当前的系统能承载多少访问量

 

性能拐点

系统的性能主要由 支持多少并发访问 和 访问延迟时间 体现。自己的测试工作有 确定当前硬件条件下某个大数据组件在规定的延迟时间限制下所能支持的最大并发访问量 这个中心,也就是回答 当前的配置能够支持多大的场景 和 某个场景需要什么样的配置 这两个问题。

根据下图的淘宝性能测试曲线,将单个服务器的TPS设置为 $ A_y $ ,可以兼顾利用率和运维的可靠性。

 

 

性能瓶颈

 场景:针对场景进行优化,减小响应时间,提高吞吐量

1、登录:限制响应时间

2、查询:限制响应时间

 

容量

单节点性能 * 节点数 / 加速比(节点与加速比对应表) >= 容量 

系统支持全所6W职工同时访问系统

PV计算带宽
假设网站的平均日PV:10w 的访问量,页面平均大小0.4 M
网站带宽 = 10w / (24 *60 * 60)* 0.4M * 8 =3.7 Mbps

PV与并发
假设网站的日平均PV:10w 的访问量,页面平均大小0.4 M,50个派生连接数
并发连接数 = (100000PV / 86400秒 * 50个派生连接数 * 1秒内响应 * 5倍峰值) / 1台Web服务器 = 289 并发连接数

PV计算QPS
系统1天内的总访问量是10w pv,该落地页的衍生连接数为50,那么系统的平均QPS
平均QPS = 100000 * 50 / ( 8 * 60 * 60 ) = 171
峰值QPS大概是均值QPS的3-5倍
峰值QPS = 171 * 5 = 855

需要测试得到的数据:
网络带宽、单机极限并发连接数、单机极限QPS

附指标:
网站带宽= PV / 统计时间(换算到S)*平均页面大小(单位KB)* 8
并发连接数 = PV / 统计时间 * 页面衍生连接次数 * http响应时间 * 因数 / web服务器数量
QPS = req/sec = 请求数/秒 = 并发量/平均响应时间 = 总请求数 / ( 进程总数 * 请求时间 ) , 服务器数量 = 峰值时间每秒QPS / 单台机器的QPS

 

参考:

https://www.cnblogs.com/ratels/p/10995587.html

https://www.cnblogs.com/LBSer/p/4605345.html

转载于:https://www.cnblogs.com/ratels/p/10996480.html

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据标准化工作组织:ISO/IEC ITU NIST TPC SPEC TPC和SPEC两个组织关注大数据技术平台的基准测试测试标准: TPCx-HS、TPCx-BB 工具:TeraSort 大数据测试第一阶段 大数据平台(Hadoop平台)基准测试的方法论和具体实施方案: 《大数据平台基准测试第一部分:技术要求》 《大数据平台基准测试第二部分:测试方法》 基准测试主要从性能的角度衡量大数据平台,主要考虑数据生成、负载选择和明确测试 指标等内容。根据Hadoop平台的特点,从NoSQL任务、机器学习、SQL任务、批处理四大 类任务中选择了10个测试用例作为负载。 大数据测试第二阶段 《Hadoop平台基础能力测试方法》 《Hadoop平台性能测试方法》 性能测试在基准测试的基础上进行了升级,如图2所示,增加了SQL用例的比重,按照SQ L任务的类型,从两个维度确立了5类任务,分别是CPU密集型任务、I/O密集型任务、报 表任务、分析型任务、交互式查询。HBase的优势在于并发检索和读的性能,在负载方面 选择了批量写入数据、并发读任务占多、并发更新任务较重、读取更改然后写回4类场景 ,充分检验了HBase数据库的并发执行能力。在机器学习和批处理方面相对基准测试方法 减少了2个用例 Hadoop平台基础能力测试用例分布 Hadoop平台基础能力涵盖了运维管理、可用性、功能、兼容性、安全、多租户和扩展性 等指标,总共38项测试用例: MPP数据库(面向在线分析处理(on-lineanalyticalprocessing,OLAP))的标准化 《MPP数据库基础能力测试方法》 工具: Terasort BigDataBench HBase性能由YCSB(Yahoo!cloudservingbenchmark)工具来测试 ----------------------- 大数据平台测试标准全文共2页,当前为第1页。 大数据平台测试标准全文共2页,当前为第2页。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值