虽然你不能保证你的实验可重复,但可以采取许多步骤来将研究打下坚实的基础。大多数人认为科学有一个简单干脆的答案,但是任何实验结果都会被问到 -- 结果会重现还是只是偶然发生?这种“偶然”包括各种明显的可能性(也许你的样品被污染了,而你却从未知晓),以及基于数学和概率的鲜为人知的可能性。在本文中,我们提供了一些建议,以增加结果可重复的可能性。
什么是可重复性(replicability)?
如果可以重复进行并得到相同的分析结果,则科学实验是可重复的。由于各种因素,像随机变量,可重复性并不像某些人想象的那么普遍。
什么是可重现性(reproducibility)?
通常,其与可重复性可以互换使用,而可重现性需要清晰地规划步骤以重现原始实验。然后,可重现的实验将详细说明采样、数据收集和实验的过程,以使另一位熟练的研究人员能够进行相同的实验。
可重复性危机和p值争议的背景
你可能已经听说过可重复性危机 [1],其中提出了担忧(确实存在)和质疑 -- 对已发表的带有统计学显著性结果的试验,如果重新操作有多少是可以重现的?
科学家试图重新创建发表在顶级《心理学》杂志上的实验,但结果却以惊人的失败告终 [2],这导致人们对科学提出了一些令人震惊的说法 [3]。作为回应,一些期刊指责并禁止p值和经典的原假设检验。
这种“危机”是一件好事
从大多数统计学家和许多科学家的角度来看,这种“危机”引发了关于科学中一些系统性问题的积极而迫切的辩论,这些辩论可能导致误导或无法重复的结果。正如美国统计协会在有关p值的使用和滥用的声明中 [4] 所写,“ ASA(美国统计协会)声明中没有什么是新的。数十年来,统计学家和其他人士一直在就这些问题发出警报,但收效甚微。”
是统计数据不可信的问题吗?
一点也不是。统计数据非常适合分析精心设计的实验中的数据。但是,可以操纵统计结果(通常是不经意间),导致对显著性的错误的高估。因此,我们提出以下建议。
我该怎么做才能使结果可重复?
统计分析前
影响定量科学研究的可重复性的主要问题是有关数据收集和分析的完整性。其中大部分发生在统计建模之前。研究的早期步骤以科学方法为指导,包括: