课外阅读——节选——《简单统计学：如何轻松识破一个如何轻松识破一本正经的胡说八道》

1、不过，我们最感兴趣的例子与虚假数据无关。这些例子涉及的做法更加微妙，更加常见。许多人对统计显著性非常关心。这是一种奇怪的宗教，它受到了研究人员近乎盲目地崇拜。假设我们想要通过检验了解，每天服用阿司匹林能否降低心脏病发作的风险。理想情况下，我们会对健康个体的两个随机样本进行比较。一个样本每天服用阿司匹林，另一个样本每天服用安慰剂——与阿司匹林具有类似外观、感觉和味道的惰性物质。这种检验应当是双盲检验：受试者和医生并不知道谁在哪个小组里。否则，病人报告“正确结果”（以及医生听到“正确结果”）的可能性也许会高于真实水平。当研究结束时，统计学家就会介入进来。这里的统计问题是，在完全随机的情况下，两个小组的差异达到实际观测值的概率有多大。在大多数研究人员看来，小于0.05的概率具有“统计显著性”。如果数据中的模式仅凭运气出现的可能性不到1/20，这种模式就会被视作具有统计说服力。章鱼保罗的数据具有统计显著性，因为它仅凭运气得到这种结果的可能性不到1%。在一项涉及2.2万名男性医生的阿司匹林研究的前五年，安慰剂组出现了18个致死性心脏病发作案例，阿司匹林组则只出现了5个同样的案例。在完全随机的情况下，这种巨大的差异发生的概率不到1%。至于非致死性心脏病发作，安慰剂组有171个案例，阿司匹林组有99个案例。这种巨大的差异仅凭运气出现的可能性约为十万分之一。这些结果具有统计显著性，因此美国心脏学会目前建议心脏病发病风险较高的患者每天服用阿司匹林。

注解：从以上我看到一种另类的对值的理解，即巨大的差异仅凭运气出现的可能性约为十万分之一，可能性低于我们能够接受的水平（显著性水平，或者），于是我们认为差异具有统计学意义。

2、寻找统计显著性的一种方法是对多种理论进行检验，然后只宣布具有统计显著性的结果。即使只考虑毫无价值的理论，也会有1/20（）的检验表现出统计显著性。在海量数据和高速计算机的帮助下，在生成“可发表结果”的巨大压力下，无数毫无价值的理论得到了检验。成千上万的研究人员对无数理论进行检验，将那些具有统计显著性的结果记录下来，并将其他结果扔到一边。对于社会公众来说，我们只能看到这些统计工作的冰山一角。我们只能看到具有统计显著性的结果，看不到不具有统计显著性的结果。如果我们知道这些得到公布的检验背后隐藏着数百项没有得到公布的检验，而且知道对毫无价值的理论进行的检验中平均有1/20的检验能够得到统计显著性，我们一定会抱着更加怀疑的态度看待这些得到公布的结果。

比如说，制药公司会对数千种实验性药物进行检验。即使在设计良好的无偏研究中，我们也会发现数百种毫无价值的药物表现出具有统计显著性的效果——而这又可以带来巨大的利润。制药商很喜欢对更多的新药进行检验。不过，他们并不喜欢对得到批准的疗法进行重新检验，以查看最初的结果是否仅仅是一种巧合，是否属于1/20（）碰巧具有统计显著性的毫无价值的疗法。

注解：结果的差异性不是100%确立的，而是有一定的置信度（95%或者99%）。换言之，仍有一定的概率（）我们会犯错误（没有差异我们说有差异），即我们说的假阳性错误。