这个问题源于某个微信群的讨论,若干个精益六西格玛业内大咖对此展开了激烈的讨论。其说法来自于一个共识,即当检验的差一定时,随着样本量的增大,这个差异是一定可以检验出来的。但问题就在于这个差是否一定,因为样本均值是一个变量,如果原假设成立,则p值不但不会随着样板量增大而变小,反而会增大。当然如果原假设不成立,则p值应该是会变小的。
实际情况到底如何呢,这引起了我的兴趣。起初我设想运用R或者Python之类的软件做大量的仿真实验,看看p值到底如何变化,但无奈目前编程还是我难以逾越的门槛。经过一段时间摸索,我用大家熟知的软件做了一些摸索,得出了一些结论,用两篇文章分享出来,希望得到大家的批评指正。
实验设计
以单样本单侧检验为例做实验,分别生成样本量为10、15、20、…、100的均值为10,标准差为0.2的正态分布样本各500个。
实验1
实验的假设为:H0:μ=10 ,Ha:μ<10。
以此假设计算t值和p值,用图形来查看p值随样板量增大的变化趋势。
初步猜想,因为生成的样本均值与假设均值相同,即原假设应该是成立的,因此随着样本量的增大,样本的均值应该越接近假设均值10,则p值也应该随之增大,且越来越接近0.5(样本均值与假设均值完全重合时,p值为0.5)。
实验2
实验的假设为:H0:μ=10.1,Ha:μ<10.1。
这是一个比较小的差,为生成样本标准差的0.2一半。初步猜想,在样板量较小时,会有比较多的检验无法拒绝原假设,但随着样板量增大,p值会变小,直至绝大多数样本都能够拒绝原假设。
取功效为0.9,可以算出最小样本量为36,因此实验取10~100的样本量是恰当的。
实验结果
实验1
首先看看箱线图。