Gatliing 是最近比较火的开源测试工具,借鉴了很多开源测试工具优点,社区也很活跃,个人比较看好。第一次了解这个工具后,就注意到主页的一个和JMeter性能相关评测:
"Gatling has much better performances than JMeter, See for yourself!" and the following 2 graphs are shown":
心想,这是立flag 的节奏,估计有人喷吧,结果今天居然看到有人写了详细的对比评测,Gatling 果然是在对比测试做了点小手脚,原文在blogspot, 天朝需翻墙,总结下。
主要的存疑点
Gatling 测试的时候用的是老版本,中间有个重要的点 ‘connections are shared amongst users’ ,而这显然不符合真实的浏览器行为。
作者抓住这点,随后自己做了新的对比测试,换了JMeter和Gatling 最新的版本,保持了一样的测试环境,和脚本,当然Gatling 针对存疑的地方,脚本做了更改,注意红框部分
事实是:
好了,大概也看出来两者结果很接近,至少证明Gatling 没有像他自己测试那样完美。
Gatling 在测试的时候耍了小聪明,但从这个事上我们也可以总结下
- 对于任何宣称疗效显著的工具始终要存疑
- 对于看着漂亮的报告也要持怀疑的态度
- 自己测试更靠谱