p值小于0.05拒绝还是接受_计算p-值和第二类错误

专栏里有一篇”两类错误弃真与取假“对显著性水平

、P-value、第二类错误

、功效进行了解释，这里换种行文说，并给出具体计算例子，用来增加对这几个概念的认识和理解。

首先我们要清楚我们手上只有一份容量为

的样本

，实践中希望通过该份样本进行统计推断。不可避免的问题在于这一份样本的获得是有随机性的。在下面讨论时，我们是知道总体的，有时会抽多份样本用来说明问题。

> a = rnorm(10)
> a
 [1]  1.5947535  0.5916560 -1.4030615  0.8350419  0.3275434 -0.1774061
 [7]  0.3069998  0.8080916  0.9208237  1.7238498
> mean(a)
[1] 0.5528292

> a = rnorm(10)
> a
 [1]  0.35033956 -0.02736848 -1.49906577  2.46780054 -0.17857308  1.40162005
 [7]  0.86463818 -0.53841337 -1.41811231 -1.93739658
> mean(a)
[1] -0.05145313

上面抽了两份样本，对期望进行点估计，如果我们获得的是第一份样本估计为0.55，如果是第二份估计为-0.05。即不同的一份样本会得到不同的点估计，如果运气不佳获得一份更为极端的样本，推断也就更离谱，这也是为什么需要区间估计。

回到本文，通常用统计量来进行估计如

估计期望，获得一份样本时，可以获得一个均值，这个均值可以看作是随机变量

产生的一个随机数。使用某统计量的分布进行假设检验时只有该分布的一个随机数（该份样本的统计量值）。

[1]P-值的计算

如使用下面这份样本针对期望进行假设检验时，

> a
 [1] -0.97203553  0.50476131 -0.06238007  0.20314828 -2.07270428 -0.40954420
 [7] -0.77950116  0.67592430 -0.06361145 -0.02983502

假设检验问题可取为

用

统计量的分布来计算P-value，假设方差已知

，则原假设成立时，

。

根据这份样本计算样本的统计量

，这个均值可以看作是分布

的一个随机数

> mean(a)
[1] -0.3005778

即假设原假设成立时，从分布

里面产生了一个随机数-0.3。这当然是可能发生的，但我们人为地认为在一次抽取中概率小的事件不可能发生，假设检验时一旦发生了概率很小的事件只能说明使用原假设推出的分布是错误，即原假设是错误，即应该拒绝原假设。

一个问题是连续分布在一点处是没有概率的，于是使用累积概率来判断，如

，为P-值。P-值很大时会使得

也很大应该不拒绝原假设，P-值很小时则拒绝原假设，

> 2*pnorm(-0.3,0,1/sqrt(10))
[1] 0.3427817

一般P-值小于0.05就认为使得这个随机数发生的概率很小。上面的P-值为0.34，故不拒绝原假设。

与P-值对应的概念就是显著性水平

，同样使用小概率原则。直接找到小概率事件的区间，且区间的累积概率为0.05，为拒绝域，如果随机数落入这个区间就认为在原假设下获得的分布产生该随机数的概率很小，从而认为分布是错误的，继而而认为原假设是错误的。根据正态分布的密度函数形式，拒绝域为

和

> qnorm(0.025,0,1/sqrt(10))
[1] -0.619795

拒绝域为

[2]第二类错误的计算

把问题设为

假设原假设成立，获得分布

，获得拒绝域为

，接受域为

，两个分布均可能产生随机数

，且该随机数可能在拒绝域或接受域。

如果

产生自

，而且在拒绝域上，则犯了第一类错误，错误的概率为

如果

产生自

，而且在接收域上，则犯了第二类错误，错误的概率为

注意，使用原假设获得分布

，结合预先设定的第一类错误

，计算拒绝域

和接受域

。第一类错误的计算使用原假设分布（因为随机数产生自

）在拒绝域上的累积概率

，当然预先设定了第一类错误不用计算也知道为

；第二类错误的计算使用备择假设的分布（因为随机数产生自

）在接受域上累积概率

。

使用上面计算过的拒绝域，得接受域为(-0.62,0.62)，计算第二类错误，

> 1 - 2*pnorm(-0.62,1,1/sqrt(10))     #使用N(1,1/10)分布计算
[1] 0.9999997

> 1 - 2*pnorm(-0.62,0.1,1/sqrt(10))  #改个和原假设更近的备择假设，第二错误更大
[1] 0.9772042

从上面的分析过程也可以看到如果让

更小而非0.05，即控制第一类错误更小，则

区间也更小，对应的

区间也更大，使得

的概率值也更大，即第二类错误也更大。所以第一类错误、和第二类错误无法同时变小。因此采取控制第一类错误，而尽量使第二类错误更小的原则。

[3]功效的比较

控制第一类错误

，选择最佳的统计量，使第二类错误尽可能小，为最佳检验。

问题为

（为了放大第二错误改了备择假设，比较更明显）

上面使用统计量

来做假设检验，但我们是否可以使用另一个统计量

对应这个分布，和上面相同的过程进行假设检验，好像也是可以的。这两个统计量用

表示。

• 从上面的计算可以看到
  的对应
  的拒绝域、第二类错误为，

， 0.9772042

• 关于
  的对应
  的拒绝域、第二类错误为，

> qnorm(0.025,0,sqrt(10)/9)
[1] -0.6886611

拒绝域为

备择假设的分布为

，第二类错误为，

> 1 - 2*pnorm(-0.69,1/9,sqrt(10)/9)
[1] 0.9773924

我们控制了第一类错误，即两个统计量的第一类错误均为0.05。但可以看到

的第二类错误更大，因此我们一般使用

来对正态分布的期望进行假设检验。在控制第一类错误的后，称使第二类错误最小的统计量的假设检验为最佳检验。

所以有时我们希望找某个假设检验功效（1-第二类错误概率）最好的统计量。

在以后学习统计模型，需要比较各种模型的好坏时，对于不同的模型，先使用符合原假设产生的模拟数据计算及比较P-值，P-值越小越不易犯第一类错误模型越好；再使用备择假设产生的模拟数据计算及比较功效

，越大越不易犯第二类错误越好。

计算也很简单，原假设备择假设均模拟10000次，使用原假设的数据 P-值=拒绝次数/10000；使用备择假设的数据，功效=1-(接受的次数/10000)