信息检索报告_面向众包测试的高效测试报告分类方法

J. Wang, Q. Cui, Q. Wang, and S. Wang, “Towards effectively test report classification to assist crowdsourced testing,” in Proceedings of ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM 2016), 2016.

论文地址：https://ece.uwaterloo.ca/~s446wang/paper/esem-16.pdf

论文摘要

众包测试报告的自动分类很重要，因为它们数据量大和干扰信息多。目前该问题的大多数方法是应用不同机器学习或信息检索技术，并且大部分是在开源数据集上进行性能评估。但是根据我们的观察表明，这些方法在实际工业众包测试数据上产生了不良和不稳定的表现。我们进一步分析了深层原因，发现工业数据具有显着的局部偏差，这会降低现有方法的效果。

我们的目标是设计一种有效的方法来克服实际工业数据中的局部偏差，并自动从大量众包报告中对真实Bug进行分类。

我们提出了一种基于聚类的分类方法，首先将类似的报告聚集在一起，然后构建基于大多数相似聚类的分类器。

对中国最大的众包测试平台的35个工业项目的15095份测试报告进行了评估，平均0.89准确率和0.97找回率。此外，我们的