功能接口查询结果与原始数据差别大？可能是并发的锅

 

案情描述

收到这么一个需求：存在一个数据库查询功能接口，需要完成1000个条件语句的查询，并将查询结果与原始数据库（如es）的查询结果对比，从而判定该功能接口是否正常，且正确可用。

第一次测试设计：读取文件中的1000个查询条件，顺序执行。但由于查询数据量较大，单线程顺序完成1000次查询耗时较长，效率太低——抛弃；

第二次测试设计：使用并发查询，多线程并发提高工作效率，节省了大大的时间。但将输出的1000个查询结果与原始数据库查询结果对比时，发现某些语句差异较大，为什么？

抽丝剥茧

为何功能接口查询结果与原始数据查询结果差异性大？

经过排查，问题出在查询语句对比时匹配错位——使用简单并发查询，输出并不严格按照读入顺序。换句话说：读入1、2、3、4、5个顺序查询条件，并发查询输出顺序可能时2、1、3、4、5，也可能时4、5、2、1、3。

那么，如何在编写测试脚本时，让并发输出严格按照读入顺序输出呢？

亡羊补牢

从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，可以帮助我们更好地完成并发设计。

本文我们不过深地讲述如何使用这些Python类，只简单讲述如何解答我们的核心问题——“如何在并发时让结果严格按照输入顺序输出”。

线程池ThreadPoolExecutor

……

如下所示，为ThreadPoolExecutor的基本使用方法，打印输入的list列表中的数字。

ThreadPoolExecutor()初始化，创建线程池，最多2个线程并发运行，通过submit调用子函数（打印输入数字），最终通过as_completed等待所有任务完成后，通过result收集返回结果。

1. # -*-coding:utf-8 -*-

2. from concurrent.futures import ThreadPoolExecutor,as_completed

4. # 子函数，打印输入数字

5. def print_num(num):

6. return num

8. list = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]

10. ##############使用ThreadPoolExecutor###################

11. ###############并发执行，非顺序返回################

12. # 创建线程池子

13. # 设置最多2个线程运行，其他等待

14. executor = ThreadPoolExecutor(max_workers=2)

15. all_task = [executor.submit(print_num, (num)) for num in list]

16. result2_list = []

17. for future in as_completed(all_task):

18. data = future.result()

19. result2_list.append(data)

20. print("并发执行，非顺序返回："+ str(result2_list))

21. ##############################################

如下图所示为上述使用ThreadPoolExecutor并发运行的结果，由结果打印可知，输出并非严格按照列表输入值顺序输出。由此可以预见，当我们简单使用并发时，我们的结果可能并不是我们认为的与“顺序”输出。

那么，如何改造呢？请关注map方法。

使用map方法，无需提前使用submit方法，map方法与python标准库中的map含义相同，都是将序列中的每个元素都执行同一个函数。

1. ###############并发执行，顺序返回################

2. # 创建线程池子

3. # 设置最多2个线程运行，其他等待

4. executor = ThreadPoolExecutor(max_workers=2)

5. result1_list = []

6. for result in executor.map(print_num, list):

7. result1_list.append(result)

8. print("并发执行，顺序返回：" + str(result1_list))

9. ##############################################

上面的代码就是对list的每个元素都执行print_num子函数，并分配各线程池。

由此可以看到，执行结果与上面的as_completed方法的结果不同，输出顺序和list列表的顺序相同。

进程池ProcessPoolExecutor

……

使用进程池ProcessPoolExecutor处理并发输入，按序输出问题，同ThreadPoolExecutor一样，使用map方法即可解决。但是值得注意的是，注意，在使用多进程时，必须把 多进程代码写在?if __name__ == '__main__' 下面，否则异常，甚至报错“concurrent.futures.process.BrokenProcessPool: A process in the process pool was terminated abruptly while the future was running or pending.”

1. #########################使用ProcessPoolExecutor#####################

2. ###############并发执行，顺序返回################

3. # 创建进程池子

4. # 设置最多2个进程运行，其他等待

5. if __name__ == '__main__':

6. executor = ProcessPoolExecutor(max_workers=2)

7. result2_list = []

8. for result in executor.map(print_num, list):

9. result2_list.append(result)

10. print("ProcessPoolExecutor并发执行，顺序返回：" + str(result2_list))

11. ##############################################

12. #####################################################################

还存在一点“笨”方法

……

除了上述所说的ThreadPoolExecutor和ProcessPoolExecutor使用map方法让结果顺序输出外，我们还可以使用一些笨方法。

例如，使用并发运行程序（并发方法不仅限于ThreadPoolExecutor和ProcessPoolExecutor，还可以使用threading等等）sort方法对输出结果排序。就上述案例而言，不使用map可以如下改造：

1. ###############并发执行，非顺序返回################

2. # 创建线程池子

3. # 设置最多2个线程运行，其他等待

4. executor = ThreadPoolExecutor(max_workers=2)

5. all_task = [executor.submit(print_num, (num)) for num in list]

6. result2_list = []

7. for future in as_completed(all_task):

8. data = future.result()

9. result2_list.append(data)

10. result2_list.sort()

11. print("ThreadPoolExecutor并发执行，非顺序返回："+ str(result2_list))

12. ##############################################

最终，输出结果符合我们的要求。

结案陈词

ThreadPoolExecutor 多线程并行执行任务，可以共享当前进程变量，但缺点也很致命，但其实仍然最多只能占用 CPU 一个核。

如果指定的任务和线程数不恰当(比如一个任务很短，线程数量很多，导致线程频繁调用回收)，那么效率还不如单线程。ProcessPoolExecutor可以使用多核进行计算，但缺点就是进程之间共享数据就比较麻烦,消耗更多的内存。

本文的主要目的是帮助大家认识：并发好用，但使用需谨慎。谨防一不小心落入并发的坑，使用map方法可以帮助大家快速地完成测试结果地有序输出。

 

总结：

感谢每一个认真阅读我文章的人！！！

作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。

软件测试面试文档

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

 

          视频文档获取方式：
这份文档和视频资料，对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！以上均可以分享，点下方小卡片即可自行领取。