P值是 一种概率,一种在原假设为真的前提下出现观察样本以及更极端情况的概率。
P值的计算:一般地,用X 表示检验的统计量,当H0为真时,可由样本数据计算出该统计量的值C,根据 检验统计量X的具体分布,可求出P值。具体地说:左侧检验的P值为检验统计量X 小于样本统计值C 的概率,即:P = P{ X < C}右侧检验的P值为检验统计量X 大于样本统计值C 的概率:P = P{ X > C}
P值的范围0到1,是一个概率,用来度量否定原假设的证据,概率越低,否定原假设的证据越充分。可以将P值与显著性水平α(significance level)相比较,P值小于等于α,则否定H0;否则,无法否定H0. α反映当H0为真时拒绝H0的概率,也就是犯第一类错误的概率。
显著性水平(alpha)是当零假设为真时拒绝它的概率。
当零假设为假时接受它的概率为(beta),拒绝它的概率为1-beta,检验能力power of test 的值为 1- beta
一类错误和二类错误是负相关的,有时我们需要考虑哪一类错误后果更严重,从而选择合适的显著性水平和检验能力。例如为了检验新药是否和原药更效果一样,零假设为效果相等,备则假设为效果不同,犯第一类错误表明该药其实和原药效果相等,但误以为更有效(假阳性错误),犯第二类错误表明该药本来效果不同,但因为不能拒绝(接受)了零假设,而认为效果相同。犯第一类错误,后果就是病人吃了和原来效果一样的药,没有生命危险;犯第二类错误,后果就是把未知效果的药给病人吃了,后果很严重。
P值表示当H0假设为真时,你的样本数据出现的概率。注意:常见错误是把P值理解为0假设为真的概率。假设P值为0.03,就是说你有3%的概率观察到当前样本数据与H0假设值的差异或者更大的差异。注意它不是指你犯第一类错误的概率为3%。当P值为0.05是,错误拒真(假阳性falsepositive)的概率至少23%,一般接近50%;当P值为0.01时,错误拒真的概率至少7%,一般接近15%。所有当P值是0.05时,样本数据中观察到的差异可能在总体中并不存在。
如果一次实验中,P值为0.05,不太可能降低falsepositive rate.但是独立重复实验却是可以的,如果两次独立并不是刻意挑出的实验P值都是0.05,可以得出P*P=0.025的新P值
如果想从检测到一个效果移步到评估它的大小和精度,使用置信区间。
备则假设也很重要:当P值为0.05时,如果备则假设出现概率很高,则相关的错误率至少12%;而如果备则假设几乎没出现过,则相关的错误率至少76%。
P的意义不表示两组差别的大小,P反映两组差别有无统计学意义,并不表示差别大小。因此,与对照组相比,C药取得P<0.05,D药取得P <0.01并不表示D的药效比C强。P>0.05时,差异无显著意义,根据统计学原理可知,不能否认无效假设,但并不认为无效假设肯定成立。在药效统计分析中,更不表示两药等效。哪种将“两组差别无显著意义”与“两组基本等效”相同的做法是缺乏统计学依据的。