功能接口查询结果与原始数据差别大？可能是并发的锅

收到这么一个需求：存在一个数据库查询功能接口，需要完成1000个条件语句的查询，并将查询结果与原始数据库（如es）的查询结果对比，从而判定该功能接口是否正常，且正确可用。

第一次测试设计：读取文件中的1000个查询条件，顺序执行。但由于查询数据量较大，单线程顺序完成1000次查询耗时较长，效率太低——抛弃；

第二次测试设计：使用并发查询，多线程并发提高工作效率，节省了大大的时间。但将输出的1000个查询结果与原始数据库查询结果对比时，发现某些语句差异较大，为什么？

抽丝剥茧

为何功能接口查询结果与原始数据查询结果差异性大？

经过排查，问题出在查询语句对比时匹配错位——使用简单并发查询，输出并不严格按照读入顺序。换句话说：读入1、2、3、4、5个顺序查询条件，并发查询输出顺序可能时2、1、3、4、5，也可能时4、5、2、1、3。

那么，如何在编写测试脚本时，让并发输出严格按照读入顺序输出呢？

亡羊补牢

从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，可以帮助我们更好地完成并发设计。

本文我们不过深地讲述如何使用这些Python类，只简单讲述如何解答我们的核心问题——“如何在并发时让结果严格按照输入顺序输出”。

线程池ThreadPoolExecutor……

如下所示，为ThreadPoolExecutor的基本使用方法，打印输入的list列表中的数字。

ThreadPoolExecutor()初始化，创建线程池，最多2个线程并发运行，通过submit调用子函数（打印输入数字），最终通过as_completed等待所有任务完成后，通过result收集返回结果。

# -*-coding:utf-8 -*-
from concurrent.futures import ThreadPoolExecutor,as_completed

# 子函数，打印输入数字
def print_num(num):
    return num

list = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]

##############使用ThreadPoolExecutor###################
###############并发执行，非顺序返回################
# 创建线程池子
# 设置最多2个线程运行，其他等待
executor = ThreadPoolExecutor(max_workers=2)
all_task = [executor.submit(print_num, (num)) for num in list]
result2_list = []
for future in as_completed(all_task):
    data = future.result()
    result2_list.append(data)
print("并发执行，非顺序返回："+ str(result2_list))
##############################################

 

如下图所示为上述使用ThreadPoolExecutor并发运行的结果，由结果打印可知，输出并非严格按照列表输入值顺序输出。由此可以预见，当我们简单使用并发时，我们的结果可能并不是我们认为的与“顺序”输出。

那么，如何改造呢？请关注map方法。

使用map方法，无需提前使用submit方法，map方法与python标准库中的map含义相同，都是将序列中的每个元素都执行同一个函数。###############并发执行，顺序返回################

# 创建线程池子# 设置最多2个线程运行，其他等待executor = ThreadPoolExecutor(max_workers=2)result1_list = []for result in executor.map(print_num, list):    result1_list.append(result)print("并发执行，顺序返回：" + str(result1_list))##############################################

 

上面的代码就是对list的每个元素都执行print_num子函数，并分配各线程池。

由此可以看到，执行结果与上面的as_completed方法的结果不同，输出顺序和list列表的顺序相同。

 

进程池ProcessPoolExecutor……

使用进程池ProcessPoolExecutor处理并发输入，按序输出问题，同ThreadPoolExecutor一样，使用map方法即可解决。但是值得注意的是，注意，在使用多进程时，必须把 多进程代码写在?if __name__ == '__main__' 下面，否则异常，甚至报错“concurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.”

#########################使用ProcessPoolExecutor####################################并发执行，顺序返回################# 创建进程池子# 设置最多2个进程运行，其他等待if __name__ == '__main__':    executor = ProcessPoolExecutor(max_workers=2)    result2_list = []    for result in executor.map(print_num, list):        result2_list.append(result)    print("ProcessPoolExecutor并发执行，顺序返回：" + str(result2_list))###################################################################################################################

还存在一点“笨”方法……

除了上述所说的ThreadPoolExecutor和ProcessPoolExecutor使用map方法让结果顺序输出外，我们还可以使用一些笨方法。

例如，使用并发运行程序（并发方法不仅限于ThreadPoolExecutor和ProcessPoolExecutor，还可以使用threading等等）sort方法对输出结果排序。就上述案例而言，不使用map可以如下改造：

###############并发执行，非顺序返回################
# 创建线程池子
# 设置最多2个线程运行，其他等待
executor = ThreadPoolExecutor(max_workers=2)
all_task = [executor.submit(print_num, (num)) for num in list]
result2_list = []
for future in as_completed(all_task):
    data = future.result()
    result2_list.append(data)
result2_list.sort()
print("ThreadPoolExecutor并发执行，非顺序返回："+ str(result2_list))
##############################################

最终，输出结果符合我们的要求。

 

结案陈词

ThreadPoolExecutor 多线程并行执行任务，可以共享当前进程变量，但缺点也很致命，但其实仍然最多只能占用 CPU 一个核。

如果指定的任务和线程数不恰当(比如一个任务很短，线程数量很多，导致线程频繁调用回收)，那么效率还不如单线程。ProcessPoolExecutor可以使用多核进行计算，但缺点就是进程之间共享数据就比较麻烦,消耗更多的内存。

本文的主要目的是帮助大家认识：并发好用，但使用需谨慎。谨防一不小心落入并发的坑，使用map方法可以帮助大家快速地完成测试结果地有序输出。

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取