web服务器性能测试 比较,Web Service 性能测试工具比较

背景

希望选择一款 Web Service 性能测试工具，能真实模拟大量用户访问网站时的请求，从而获取服务器当前的请求处理能力(请求数/秒)。

以微信服务器为例，每个用户用独立的登录 token，做各种操作，比如刷消息、发消息、看朋友圈等。

希望该性能测试工具符合如下要求：

测试脚本能力，最好是 Python/Ruby 等最常用的

每个并发实例能使用不同参数

CLI 启动测试，这对自动化测试很重要

Session 支持，也就是第一个请求的响应，能用于后续请求的参数。

单个结点的并发数量高。

分布式支持，不受限于单个结点的计算能力。

性能测试工具选手：

Gatling

Gatling 是一款基于 Scala 开发的高性能服务器性能测试工具，它主要用于对服务器进行负载等测试，并分析和测量服务器的各种性能指标。Gatling 主要用于测量基于 HTTP 的服务器，比如 Web 应用程序，RESTful 服务等，除此之外它拥有以下特点：

支持 Akka Actors 和 Async IO，从而能达到很高的性能

支持实时生成 Html 动态轻量报表，从而使报表更易阅读和进行数据分析

支持 DSL 脚本，从而使测试脚本更易开发与维护

支持录制并生成测试脚本，从而可以方便的生成测试脚本

支持导入 HAR(Http Archive)并生成测试脚本

支持 Maven，Eclipse，IntelliJ 等，以便于开发

支持 Jenkins，以便于进行持续集成

支持插件，从而可以扩展其功能，比如可以扩展对其他协议的支持

开源免费

object Search {

val feeder = csv("search.csv").random // 1, 2

val search = exec(http("Home")

.get("/"))

.pause(1)

.feed(feeder) // 3

.exec(http("Search")

.get("/computers?f=${searchCriterion}") // 4

.check(css("a:contains('${searchComputerName}')", "href").saveAs("computerURL"))) // 5

.pause(1)

.exec(http("Select")

.get("${computerURL}")) // 6

.pause(1)

}

统计图：

nGrinder

官网很卡，真的很卡...zzz...

http://naver.github.io/ngrinder/

nGrinder 是一个基于 Grinder 开发的一个非常易于管理和使用的性能测试系统。

它是由一个 controller 和连接它的多个 agent 组成，用户可以通过 web 界面管理和控制测试，以及查看测试报告，controller 会把测试分发到一个或多个 agent 去执行。用户可以设置使用多个进程和线程来并发的执行该脚本，而且在同一线程中，来重复不断的执行测试脚本，来模拟很多并发用户。

nGrinder 的测试是基于一个 python 的测试脚本，用户按照一定规则编写测试脚本以后，controller 会将脚本以及需要的其他文件分发到 agent，用 Jython 执行。并在执行过程中收集运行情况、响应时间、测试目标服务器的运行情况等。并保存这些数据生成运行报告，以供以后查看。

nGrinder 的一大特点就是非常容易使用，安装也非常容易，可以做到开箱即用，测试用户也可以很容易就开始测试任务。当然，如果想执行一些比较复杂场景的性能测试，就需要测试人员对 python 有一定认识。

#

# testRandomise.py

#

import random

import string

class TestRandomise:

def __init__(self, filename):

self._users = []

infile = open(filename, "r")

for line in infile.readlines():

self._users.append(string.split((line),','))

infile.close()

def getUserInfo(self):

"Pick a random (user, password) from the list."

return random.choice(self._users)

#

# Test script. Originally recorded by the TCPProxy.

#

from testRandomise import TestRandomise

tre = TestRandomise("users.txt")

class TestRunner:

def __call__(self):

# Get user for this run.

(user, passwd) = tre.getUserInfo()

# ...

# Use the user details to log in.

tests[2002].POST('https://host:443/securityservlet',

( NVPair('functionname', 'Login'),

NVPair('pagename', 'Login'),

NVPair('ms_emailAddress', user),

NVPair('ms_password', passwd), ))

统计图：

Locust

Locust 是一个开源负载测试工具。使用 Python 代码定义用户行为，也可以仿真百万个用户。

Locust 是非常简单易用，分布式，用户负载测试工具。Locust 主要为网站或者其他系统进行负载测试，能测试出一个系统可以并发处理多少用户。

Locust 是完全基于时间的，因此单个机器支持几千个并发用户。相比其他许多事件驱动的应用，Locust 不使用回调，而是使用轻量级的处理方式 gevent。

from locust import HttpLocust, TaskSet

def login(l):

l.client.post("/login", {"username":"ellen_key", "password":"education"})

def index(l):

l.client.get("/")

def profile(l):

l.client.get("/profile")

class UserBehavior(TaskSet):

tasks = {index:2, profile:1}

def on_start(self):

login(self)

class WebsiteUser(HttpLocust):

task_set = UserBehavior

min_wait=5000

max_wait=9000

统计图：

其他未参与比较的工具

因为没有脚本能力或 CLI，所以未加入比较

JMeter

ApacheBench(ab)

Tsung

Locust 作者对 JMeter 和 Tsung 发的牢骚：

我们研究了现有的解决方案，都不符合要求。比如 Apache JMeter 和 Tsung。

JMeter 基于 UI 操作，容易上手，但基本上不具备编程能力。其次 JMeter 基于线程，要模拟数千用户几乎不可能。

Tsung 基于 Erlang，能模拟上千用户并易于扩展，但它基于 XML 的 DSL，描述场景能力弱，且需要大量的数据处理才知道测试结果。

比较

比较科目 x 工具矩阵

结论

很明显，首选的全能选手就是 Gatling ，Akka Actor 的并发模型就是来自于并发语言的鼻祖 Erlang。

如果想自己扩展性能测试工具，那么 Locust 这个小而精的工具可以考虑。

nGrinder 工具是韩国版微信 Line 开源的，并且专门开设了中文论坛，由韩国工程师回答中国开发者。但有两个问题,一是官网太卡，其二示例都是片段不完整。

各位同学参照上面的对比，自己各取所需吧。