并行计算性能测试

背景：现在需要A/B/C三个分数，然后我们再利用三个分值算出一个总分。原来的方式是一台服务器顺序计算出A/B/C,最后算出总分，此时的计算耗时约为A+B+C+ABC，（ABC为对ABC进行求和的运算）;现在为提高整体计算的效率，采用并行计算，如果要计算总分，就把A/B/C的计算需求由主机同时分发给三台服务器，待三台服务器运算出结果后返回给主机，然后主机根据三台服务器的返回结果算出部分,此时的计算耗时约为max(A,B,C)+ABC，（忽略网络耗时）。

 

功能性的测试在这不作说明，重点关注性能测试中的负载均衡和信息准确性。

 

比方现在有四台服务器，SD,SD1,SD2,SD3，SD做为主机，而SD1,SD2,SD3作为分发机器。现在有如下关注点：1、SD分发给SD1,SD2,SD3是否均衡。2. SD同时大规模并发时，信息是否准确，线程池是否混乱。

 

本次使用TESTNG进行性能测试，（大家也可以选择LR及jmeter,本次是只想对校验负载均衡和校验数据准确性，并非计算服务性能曲线，所以选择TESTNG）

 

开始时我使用了TESTNG的标签，来指定invocationCount = 10000和threadPoolSize = 20，这两个参数的意思是一共调用服务10000次，而线程池一共20个，因此平均下来每个线程调用500次。

关注点一、查看分发是否均衡。因为有三个节点A/B/C需要进行运算，因此如下设计：1.一台主机3台分发机器，运行上述脚本，然后进入logs/sofa/sofa-sal-digest.log目录，统计每台服务器的调用情况，查看是否均衡。2.一台主机4台分发机器，查看负载是否均衡。3.一台主机2台分发机器，查看负载是否均衡。4.一台主机，1台分发机器，查看负载是否均衡。5.一台主机，没有分发机器，查看负载情况。

关注点二、信息准确性，大量并发时信息是否混乱。准备了十组数据，对应十组期望值，然后利用随机数，随机选取一组数据进行查询，对比查询到的结果是否准确。服务器使用情况同上。

关注点三、持续不断的并行计算时，信息是否准确。使用TESTNG的标签进行并发调用时，总共执行invocationCount=10000次，这样足够猛，但是不够持久。如果想长时间的运行，就得把这个值设置的很大，但是受限于我们的机器和网卡，机器运行会越来越慢。因此考虑自己单独启线程，然后死循环去调用，就是小剂量不停歇的去调服务，这样就能够达到我们的要求了。

 

下面是我用来进行并行计算的脚本：

@XMode(XMode.WEBSERVICE)
public class CallDataSetNormalTest {
 
    @XAutoWire(XAutoWire.BY_NAME)
    protected DataSetService dataSetService;
 
    /** 线程池 */
    private static final Executor EXECUTOR = Executors.newFixedThreadPool(20);
 
    @Test
    public void threadCall() {
 
        while (true) {
            for (int i = 0; i < 50; i++) {
                EXECUTOR.execute(new Runnable() {
                    public void run() {
                        callDataSet();
                    }
                });
            }
            try {
                Thread.sleep(3000);
            } catch (InterruptedException e) {
                System.out.println(e.getMessage());
            }
        }
 
    }
 
    public void callDataSet() {
 
        String[][] userId = { { "2088102114256253", "2088102114256265" },
                { "2088102012407732", "2088102114256277" }    };
 
        Money[] money = { new Money(106), new Money(502) };
 
        DataSetQuery dataSetQuery = new DataSetQuery();
        dataSetQuery.setDataSetName("FP_Model");
        dataSetQuery.setCallFrom("ctu");
        Map<Params, Object> paramsValues= new HashMap<Params, Object>();
 
        Random random = new Random();
        int i = Math.abs(random.nextInt()) % 10;
        String buyer = userId[i][0];
        String seller = userId[i][1];
 
        paramsValues.put(Params.BUYER_ID, buyer);
        paramsValues.put(Params.SELLER_ID, seller);
       dataSetQuery.setParamsValues(paramsValues);
 
        DataSetIndicatorInfo info = newDataSetIndicatorInfo();
        info.setIndicatorName("ZJ2");
        info.setIndicatorDesc("ZJ2");
        info.setReturnType("java.lang.Double");
        DataSetResult dr = dataSetService.callDataSet(dataSetQuery);
        double expected =money[i].getAmount().doubleValue();
        double actual = (Double) dr.getResult().get(info);
        if (expected != actual) {
            logger.info("resultcode= " + dr.getResultCode());
            logger.info("actual = " + actual);
            logger.info("expected = " + expected);
        }
 
    }
}