假设检验的鲁棒性

Richard Wu
2016年3月3日

考虑一个问题，当一个随机变量不一定服从正态分布时，是不是还可以使用参数检验？

T检验

思路是，分两种情况原假设是正确的情况下p-value是否是我们想象的那样和显著性水平相符合。在原假设错误的情况下在相同的样本容量，相同的均值差的情况下两者的功效相差多少？

第一种情况：原假设是正确的

若随机变量X服从正态分布，抽取一个样本取其t检验的p值，看看p值小于显著性水平比如5%的样本个数是不是真的符合。

N <- 10000 #蒙特卡洛逼近的迭代次数
n <- 10 #样本容量

p <- vector()
for( i in 1:N ){
  x <- rnorm(n) #均值为0的正态分布
  p <- append(p,t.test(x)$p.value)
}

sum(p <= .05) / N

## [1] 0.046

qqplot(p,seq(0,1,length.out = length(p)))
abline(a=0,b=1,col='red')

从上面的结果看，如果样本是正态分布，那边当反复测试时p-value小于