Threats to Validity_追逐梦想的顾咏丰_新浪博客

The controlled or experimental design enables the investigator to control for threats to internal and external validity.

在论文的写作过程中，经常回遇到一个重要的小节，就是 Threats to Validity。这个小节主要介绍了方法或者结论在有效性方面遇到哪些可能的影响事件或参数。一般下来主要分为 internal validity 和 external validity 2种。

• Threats to internal validity compromise our confidence in saying that a relationship exists between the independent and dependent variables. 内部有效性风险包括即证明自变量和因变量之间存在关系。

• Threats to external validity compromise our confidence in stating whether the study’s results are applicable to other groups. 外部有效性风险即证明研究结果也适用于其他的实验环境。

Example 1. 在涉及到阅读教学实验中，科研人员发现：那些在测试前的阅读分数很低的人员，比那些测试前阅读分数较高的人员的收获要大。

针对此实验结论，我们分别提出 internal validity 和 external validity.

1. Threats to internal validity

内部有效性 是要证明实验中自变量和因变量的关系确实存在，也即证明在试验中的每个 RQ 问题的结论是否合理且存在。我们可以在这样考虑： a) 我们在试验中是否会有不可预期的事情 (Event) 发生？ b) 这些事情会影响 (Effect) 到我们最后的结论吗？如果这 2 个问题都是 YES！那么这些事情就叫做实验的内部有效性风险。

- 主题的选择。进行实验选择的 2 种人，一种测试前阅读分数低的人；另一种是测试前阅读分数高的人。那么在这 2 种人的选择上是否存在风险。包括 a) 人员选择标准是否相同？ b) 人员数量是否相同？等。

- 实验的过程。在实验过程中存在 2 个阶段，一个是测试前，一个是测试后。可以考虑 a) 试验中的人员是否有变动？ b) 实验前后的分数可靠吗？ c) 实验中的测试环节是否对等且同步？ d) 实验时有哪些不可预期的事件发生？等。

2. Threats to external validity

外部有效性 是要证明得到的实验结果也适用于其他的实验环境，也即证明实验结果具有通用泛化性。这里主要考虑 2 点： 即 1) 抽样样本是否能代表所有情况？抽样越具有代表性就越有效。2) 结论能否泛化到其他情形？泛化能力越广越好。

- 抽样代表性。选择的人最好能代表整个人类，比如： a) 黑人、白人、黄种人是不是都选上了？ b) 年龄层是否全覆盖？ c) 那些没有阅读能力的人不能选，比如婴儿，盲人等，这类人对于此实验没有任何意义，等。

- 泛化能力。如果结论得出没有问题，即内部有效性证明是对的。那么此结论对于动物，外星人是否使用？等。