自己实现的附带文件的压力测试方法

前段时间做了一个服务器端接口，是附带文件上传的；后来我们要对这个接口进行压力测试；

　　其实很多现成的方式可以做压力测试，但是附带文件的的压力测试缺不怎么符合我的需求，jmeter是可以做附带文件上传的压力测试的，只是它是图形界面，而我目前的需求是要在测试机器上面去跑测试，而测试服务器是不能带图形界面的，所以jmeter的方案否决掉；

　　apache ab test，也是一个压力测试的好工具，只是研究了好久老搞不掂怎么做附带文件上传的压力测试（备注：在本文的最后我附带一下我研究的结果，说多了都是泪）

　　好了，现在我说下我自己的这个测试工具：

　　它依赖于赖于httpclient相关的包，包括：commons-codec-1.6.jar、commons-logging-1.1.3.jar、fluent-hc-4.3.4.jar、httpclient-4.3.4.jar、httpclient-cache-4.3.4.jar、httpcore-4.3.2.jar、httpmime-4.3.4.jar、httpmime-4.3.4.jar；

　　大家可以到apache的官方网站：http://hc.apache.org/downloads.cgi  去下载相关的包；

import java.io.File; import java.io.IOException; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import java.util.concurrent.atomic.AtomicInteger; import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpPost; import org.apache.http.entity.ContentType; import org.apache.http.entity.mime.MultipartEntityBuilder; import org.apache.http.entity.mime.content.FileBody; import org.apache.http.entity.mime.content.StringBody; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; public class ClientMultipartFormPostTest { private static ExecutorService pool = Executors.newFixedThreadPool(300); public static void main(String[] args) throws Exception { final String path = args[0];//文件地址 final String url = args[1]; //调用的URL final int i_len = Integer.parseInt(args[2]);//线程总数 final int j_len = Integer.parseInt(args[3]);//每个线程的请求数（暂时没用到） final AtomicInteger c = new AtomicInteger(0); final long s = System.currentTimeMillis(); for (int i = 0; i < i_len; i++) { new Thread(new Runnable() { @Override public void run() { while (true) { try { upLoadLogMultiThread(url,path); int cc = c.addAndGet(1); if (cc % 1000 == 0) { System.out.println(String.format("c: %d, t: %d", cc, (System.currentTimeMillis() - s))); } } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } } }).start(); } } public static void upLoadLogMultiThread(String url,String path) throws IOException{ CloseableHttpClient httpclient = HttpClients.createDefault(); try { HttpPost httppost = new HttpPost(url); FileBody bin = new FileBody(new File(path)); StringBody comment = new StringBody("A binary file of some kind", ContentType.TEXT_PLAIN); HttpEntity reqEntity = MultipartEntityBuilder.create() .addPart("bin", bin) .addPart("comment", comment) .build(); httppost.setEntity(reqEntity); CloseableHttpResponse response = httpclient.execute(httppost); try { HttpEntity resEntity = response.getEntity(); EntityUtils.consume(resEntity); } finally { response.close(); } } finally { httpclient.close(); } } }

　测试结果，如图所示：

　　我们程序的逻辑是每请求1000次，打印一次；

　　上面的结果翻译的结果就是：

　　1----请求1000次，耗费时间为3727毫秒；

　　1----请求2000次，耗费时间为6253毫秒；

　　1----请求3000次，耗费时间为8713毫秒；

　　1----请求4000次，耗费时间为11028毫秒；

　　1----请求5000次，耗费时间为13340毫秒；

　　…

　　依据上面的结果，我们可以做个预估：每秒可以承受的4000次请求；也就是说我们可以大大预估一天有3千万次请求数，这个程序都是可以应付对的；

　　但是上面的结论并没说明文件，考虑到并发用户的情况，好！那我们分1个并发，10个并发，100个并发，1000个并发，（我的并发是以线程来区分级别，估计大多数测试工具也是以这样的一种方式去区分，备注：线程并非同一时刻，据本人了解，线程的区分度大概纳秒级别的，还是在同一个进程里面去处理；而进程是可以利用上多核CPU的，举例：4个核的CPU，开4个进程是可以时刻并行的运行，也就是说这４个进程是同一时刻在跑。）

　　10线程并发：

　　也就是说10个并非，每秒执行9千＋；

　　100个线程并非：

　　也就是说100并非，每秒执行1.5万次；

　　1000个并非：

　　已经挂掉了，也就是说这个小的后端程序能够承受的并非级别是100～1000之间（一台主机的情况，如果是集群的话，100万台服务器的话，相当于并发在1亿~10亿之间，如果按照业界传闻facebook的几十万台，Google级百万台，在还没考虑主机CPU、内存的这个测试结果是非常可观，目前主机是双核２Ｇ内存的主机）；

　　测试方法就是：java -jar errlogClient.jar path url n c

　　各个参数的标识：path = 目标文件路径 ； url = 请求的地址 ； n = 线程总数 ； c = 每个线程调用请求的次数（备注目前上面的程序我是做循环跑的，所以暂时没用上，大家觉得如果需要用上的话可以改改上面的程序）

　　这个工具如果大家觉得还凑合用的话就尽管拿去用吧~

最新内容请见作者的GitHub页：http://qaseven.github.io/