loadrunner 中的90%的请求响应时间

原创 2014年12月04日 12:54:31
描述性统计与性能结果分析-LoadRunner,学到了平均相应时间和90%事务相应时间的关系,其中平均响应时间满足了但是未必符合性能要求,有时候还要看90%事务相应时间。
  具体参看以下内容:
  LoadRunner中的90%响应时间是什么意思?这个值在进行性能分析时有什么作用?本文争取用最简洁的文字来解答这个问题,并引申出“描述性统计”方法在性能测试结果分析中的应用。
  为什么要有90%用户响应时间?因为在评估一次测试的结果时,仅仅有平均事务响应时间是不够的。为什么这么说?你可以试着想想,是否平均事务响应时间满足了性能需求就表示系统的性能已经满足了绝大多数用户的要求?
  假如有两组测试结果,响应时间分别是 {1,3,5,10,16} 和 {5,6,7,8,9},它们的平均值都是7,你认为哪次测试的结果更理想?
  假如有一次测试,总共有100个请求被响应,其中最小响应时间为0.02秒,最大响应时间为110秒,平均事务响应时间为4.7秒,你会不会想到最小和最大响应时间如此大的偏差是否会导致平均值本身并不可信?

  为了解答上面的疑问,我们先来看一张表:

在上面这个表中包含了几个不同的列,其含义如下:   CmdID   测试时被请求的页面   NUM      响应成功的请求数量
  MEAN    所有成功的请求的响应时间的平均值
STD DEV      标准差(这个值的作用将在下一篇文章中重点介绍)   MIN              响应时间的最小值
  50 th(60/70/80/90/95 th)          如果把响应时间从小到大顺序排序,那么50%的请求的响应时间在这个范围之内。后面的60/70/80/90/95 th 也是同样的含义   MAX      响应时间的最大值
  我想看完了上面的这个表和各列的解释,不用多说大家也可以明白我的意思了。我把结论性的东西整理一下:
  1.   90%用户响应时间在 LoadRunner中是可以设置的,你可以改为80%或95%;   2.   对于这个表,LoadRunner中是没有直接提供的,你可以把LR中的原始数据导出到Excel中,并使用Excel中的PERCENTILE 函数很简单的算出不同百分比用户请求的响应时间分布情况;
  3.   从上面的表中来看,对于Home Page来说,平均事务响应时间(MEAN)只同70%用户响应时间相一致。也就是说假如我们确定Home Page的响应时间应该在5秒内,那么从平均事务响应时间来看是满足的,但是实际上有10-20%的用户请求的响应时间是大于这个值的;对于Page 1也是一样,假如我们确定对于Page 1 的请求应该在3秒内得到响应,虽然平均事务响应时间是满足要求的,但是实际上有20-30%的用户请求的响应时间是超过了我们的要求的;   4.   你可以在95 th之后继续添加96/ 97/ 98/ 99/ 99.9/ 99.99 th,并利用Excel的图表功能画一条曲线,来更加清晰表现出系统响应时间的分布情况。这时候你也许会发现,那个最大值的出现几率只不过是千分之一甚至万分之一,而且99%的用户请求的响应时间都是在性能需求所定义的范围之内的;
  5.   如果你想使用这种方法来评估系统的性能,一个推荐的做法是尽可能让你的测试场景运行的时间长一些,因为当你获得的测试数据越多,这个响应时间的分布曲线就越接近真实情况;   6.   在确定性能需求时,你可以用平均事务响应时间来衡量系统的性能,也可以用90%或95%用户响应时间来作为度量标准,它们并不冲突。实际上,在定义某些系统的性能需求时,一定范围内的请求失败也是可以被接受的;
  7.   上面提到的这些内容其实是与工具无关的,只要你可以得到原始的响应时间记录,无论是使用LoadRunner还是JMeter或者OpenSTA,你都可以用这些方法和思路来评估你的系统的性能。
事实上,在性能测试领域中还有更多的东西是目前的商业测试工具或者开源测试工具都没有专门讲述的——换句话说,性能测试仅仅有工具是不够的。我们还需要更多其他领域的知识,例如数学和统计学,来帮助我们更好的分析性能数据,找到隐藏在那些数据之下的真相。



 


 
 
  数据统计分析的思路与分析结果的展示方式是同样重要的,有了好的分析思路,但是却不懂得如何更好的展示分析结果和数据来印证自己的分析,就像一个人满腹经纶却不知该如何一展雄才
  一图胜千言,所以这次我会用两张图表来说明“描述性统计”在性能测试结果分析中的其他应用。
 
  在这张图中,我们继续使用了上一篇文章——《描述性统计与结果分析》一文中的方法,对响应时间的分布情况来进行分析。上面这张图所使用的数据是通过对
  Google.com 首页进行测试得来的,在测试中分别使用10/25/50/75/100 几个不同级别的并发用户数量。通过这张图表,我们可以通过横向比较和纵向比较,更清晰的了解到被测应用在不同级别的负载下的响应能力。
 
  这张图所使用的数据与第一张图一样,但是我们使用了另外一个视角来对数据进行展示。表中最左侧的2000/5000/10000/50000的单位是毫秒,分别表示了在整个测试过程中,响应时间在0-2000毫秒范围内的事务数量占成功的事务总数的百分比,响应时间在2001-5000毫秒范围

在这张图中,我们继续使用了上一篇文章——《描述性统计与结果分析》一文中的方法,对响应时间的分布情况来进行分析。上面这张图所使用的数据是通过对
  Google.com 首页进行测试得来的,在测试中分别使用10/25/50/75/100 几个不同级别的并发用户数量。通过这张图表,我们可以通过横向比较和纵向比较,更清晰的了解到被测应用在不同级别的负载下的响应能力。
 
  这张图所使用的数据与第一张图一样,但是我们使用了另外一个视角来对数据进行展示。表中最左侧的2000/5000/10000/50000的单位是毫秒,分别表示了在整个测试过程中,响应时间在0-2000毫秒范围内的事务数量占成功的事务总数的百分比,响应时间在2001-5000毫秒范围

内的事务数量占成功的事务总数的百分比,响应时间在5001-10000毫秒范围内的事务数量占成功的事务总数的百分比,以及响应时间在10001-50000毫秒范围内的事务数量占成功的事务总数的百分比。
  这几个时间范围的确定是参考了业内比较通行的“2-5-10原则”——当然你也可以为自己的测试制定其他标准,只要得到企业内的承认就可以。所谓的 “2-5-10原则”,简单说,就是当用户能够在2秒以内得到响应时,会感觉系统的响应很快;当用户在2-5秒之间得到响应时,会感觉系统的响应速度还可以;当用户在5-10秒以内得到响应时,会感觉系统的响应速度很慢,但是还可以接受;而当用户在超过10秒后仍然无法得到响应时,会感觉系统糟透了,或者认为系统已经失去响应,而选择离开这个Web站点,或者发起第二次请求。
  那么从上面的图表中可以看到,当并发用户数量为10时,超过95%的用户都可以在5秒内得到响应;当并发用户数量达到25时,已经有80%的事务的响应时间处在危险的临界值,而且有相当数量的事务的响应时间超过了用户可以容忍的限度;随着并发用户数量的进一步增加,超过用户容忍限度的事务越来越多,当并发用户数到达75时,系统几乎已经无法为任何用户提供响应了。
  这张图表也同样可以用于对不同负载下事务的成功、失败比例的比较分析。
  Note:上面两个图表中的数据,主要通过Excel 中提供的FREQUENCY,AVERAGE,MAX,MIN和PERCENTILE几个统计函数获得,具体的使用方法请参考Excel帮助手册。
 





版权声明:本文为博主原创文章,未经博主允许不得转载。

性能结果分析与理解(关于90%响应时间、图表等)

作者:陈雷 (Jackei)邮箱:jackeichan@gmail.comBlog:http://jackei.cnblogs.com描述性统计与性能结果分析——《LoadRunner 没有告诉你的》...
  • myfuturemydream08
  • myfuturemydream08
  • 2011年03月29日 17:07
  • 2630

关于lr分析器中的90% Percent 如何理解?

90 Percent的这个时间我之前一直理解的是去掉最高的10%的时间 的 平均值   刚查了下说是90%的时间小于这个时间的,比如10户并发时间为1、2、3、4、5、6、7、8、9、10    则9...
  • xu1314
  • xu1314
  • 2012年06月13日 10:49
  • 1439

loadrunner:并发用户90%的响应时间的用法

篇讨论的是基于LoradRunner的性能测试,并发用户90%的响应时间的用法。假设90%是14.721秒。 90Percent:是指把响应时间从小到大排序,90%的响应时间,在14.721秒这个范...
  • he_jian1
  • he_jian1
  • 2014年12月11日 17:13
  • 7422

TPS和事务响应时间的关系、计算公式

例子:一个高速路有10个入口,每个入口每秒钟只能进1辆车 1、请问1秒钟最多能进几辆车?    TPS=10 2、每辆车需要多长时间进行响应?    reponse time = 1 3、改...
  • huangjin0507
  • huangjin0507
  • 2016年09月08日 10:24
  • 12876

loadrunner 中的90%的请求响应时间

描述性统计与性能结果分析-LoadRunner,学到了平均相应时间和90%事务相应时间的关系,其中平均响应时间满足了但是未必符合性能要求,有时候还要看90%事务相应时间。   具体参看以下内容:...
  • he_jian1
  • he_jian1
  • 2014年12月04日 12:54
  • 6469

loadrunner Windows 系统资源性能常用计数器

1.System         %Total Processor Time 该计数据值用于体现服务器整理的处理器利用率,对多处理器系统而言,该计数值体现的是所有CPU的平均利用率,如果该值的数值持...
  • rnchg
  • rnchg
  • 2017年05月08日 14:43
  • 299

loadrunner中的响应时间与事务响应时间

1. 响应时间 事务是指用户在客户端做一种或多种业务所需要的操作集,通过事务函数可以标记完成该业务所需要的操作内容;另一方面事务可以用来统计用户操作的响应时间,事务响应时间是通过记录用户请求的开始...
  • he_jian1
  • he_jian1
  • 2014年12月05日 17:45
  • 7520

Loadrunner做性能测试:为什么100个用户的响应时间反而比50个用户的响应时间更短?

我在中国外汇交易中心工作过一段时间,当时有个专业的Loadrunner测试团队,他们的测试结果:为什么100个用户的响应时间反而比50个用户的响应时间更短。 分析:首先这肯定是一种不正常的现象,因...
  • JCY58
  • JCY58
  • 2016年07月01日 17:13
  • 3116

LoadRunner压力测试实例步骤

LoadRunner 是一种预测系统行为和性能的工业标准级负载测试工具。通过以模拟上 千万用户实施并发负载及实时性能监测的方式来确认和查找问题,LoadRunner 能够对整个 企业架构进行测试。...
  • lykangjia
  • lykangjia
  • 2017年02月20日 12:44
  • 988

LoadRunner结果分析

查找瓶颈时按以下顺序,由易到难。 服务器硬件瓶颈---〉网络瓶颈(对局域网,可以不考虑)---〉服务器操作系统瓶颈(参数配置)---〉中间件瓶颈(参数配置,数据库,web服务器等)---〉 应用瓶...
  • lykangjia
  • lykangjia
  • 2017年02月10日 14:00
  • 789
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:loadrunner 中的90%的请求响应时间
举报原因:
原因补充:

(最多只允许输入30个字)