软件工程中的系统文献映射研究实例-有效性分析（第十四部分）

之前的博客详细描述了软件工程中的系统文献映射研究方法。这里接着给出一个我曾经做过的工作作为例子，以更直观地展示这种研究类型。该研究的背景信息这里不再赘述。                        

这篇博客主要介绍这个系统文献映射研究实例的效度。

1. 文献检索和筛选

一个威胁为：可能由于多种原因如个人偏见从而在筛选过程中遗漏了相关文献。此威胁可能对系统文献映射研究的结果产生消极影响。本研究采用以下策略以降低此威胁。

- 选择七个在软件工程中著名的数据库作为数据库检索的来源，且采用滚雪球作为人工检索的方法。

- 设计并就筛选文献的入选和排除规则达成一致。这些规则帮助作者消除彼此间的误会。

- 在文献的正式检索和筛选过程前，执行文献的试验性检索和筛选过程以提高该研究的质量。

- 在文献的正式检索和筛选过程中，两位研究者独立地执行所有筛选过程，且另外两位研究者评审筛选的结果。

- 在文献的试验性检索和筛选以及正式检索和筛选过程中，在执行每个步骤之前，研究者均开会讨论前一步骤遇到的问题以及解决方案，且就下一步骤的执行达成一致。

另一个威胁为：遗漏了发表于2001年前的相关文献。然而基于我们的经验和知识，未发现任何文献可以充当软件开发中的假设条件及其管理的里程碑。此外，我们认为十五年对此系统文献映射研究是可接受的时间范围。

2. 数据抽取

个人偏见可能降低抽取的数据的质量。本研究采用以下策略以降低此威胁。

- 设计并就抽取的数据项在研究者间达成一致。

- 就数据抽取中可能的问题进行讨论。例如与系统错误有关的特定数据不一定由于未被妥善管理的假设条件引起。因此这条数据不会被抽取。

- 在正式的数据抽取前执行试验性的数据抽取。

- 一位研究者负责数据抽取，且另一位研究者检查了抽取的数据。

3.数据分析

数据分析可能受个人偏见、错误、低质量的数据抽取影响。本研究采用以下策略以降低此威胁。

- 就数据分析中可能的问题进行讨论。例如某研究问题的数据是否应采用定性的数据分析方法。

- 一位研究者负责数据分析，且另一位研究者检查了分析的结果。

- 此系统文献映射研究排除了所有未被清晰表达的数据。

- 使用特定的工具进行定性数据分析。该工具特别适用于定性数据分析。例如使用它的代码系统以及相关工具可减少数据分析中的错误。