理解P值

      P值是 一种概率，一种在原假设为真的前提下出现观察样本以及更极端情况的概率。

 
 

  
   P值的计算：
 
 
 
 

  
  一般地，用X 表示检验的统计量，当H0为真时，可由样本数据计算出该统计量的值C，根据
  
  检验统计量X的具体分布，可求出P值。具体地说：
 
 
 
 

  
  左侧检验的P值为检验统计量X 小于样本统计值C 的概率，即：P = P{ X < C}
 
 
 
 

  
  右侧检验的P值为检验统计量X 大于样本统计值C 的概率：P = P{ X > C}
 
 
 
 

  
  双侧检验的P值为检验统计量X 落在样本统计值C 为端点的尾部区域内的
  
  概率的2 倍：P = 2P{ X > C} (当C位于分布曲线的右端时) 或P = 2P{ X< C} (当C 位于分布曲线的左端时) 。若X 服从
  
  正态分布和t分布，其分布曲线是关于纵轴对称的，故其P 值可表示为P = P{| X| > C} 。
 
 

P值的范围0到1，是一个概率，用来度量否定原假设的证据，概率越低，否定原假设的证据越充分。可以将P值与显著性水平α（significance level）相比较，P值小于等于α，则否定H0；否则，无法否定H0. α反映当H0为真时拒绝H0的概率，也就是犯第一类错误的概率。

显著性水平（alpha）是当零假设为真时拒绝它的概率。

当零假设为假时接受它的概率为(beta),拒绝它的概率为1-beta,检验能力power of test 的值为 1- beta

一类错误和二类错误是负相关的，有时我们需要考虑哪一类错误后果更严重，从而选择合适的显著性水平和检验能力。例如为了检验新药是否和原药更效果一样，零假设为效果相等，备则假设为效果不同，犯第一类错误表明该药其实和原药效果相等，但误以为更有效（假阳性错误），犯第二类错误表明该药本来效果不同，但因为不能拒绝（接受）了零假设，而认为效果相同。犯第一类错误，后果就是病人吃了和原来效果一样的药，没有生命危险；犯第二类错误，后果就是把未知效果的药给病人吃了，后果很严重。

 

P值表示当H0假设为真时，你的样本数据出现的概率。注意：常见错误是把P值理解为0假设为真的概率。假设P值为0.03,就是说你有3%的概率观察到当前样本数据与H0假设值的差异或者更大的差异。注意它不是指你犯第一类错误的概率为3%。当P值为0.05是，错误拒真（假阳性falsepositive）的概率至少23%，一般接近50%；当P值为0.01时，错误拒真的概率至少7%，一般接近15%。所有当P值是0.05时，样本数据中观察到的差异可能在总体中并不存在。

如果一次实验中，P值为0.05，不太可能降低falsepositive rate.但是独立重复实验却是可以的，如果两次独立并不是刻意挑出的实验P值都是0.05，可以得出P*P=0.025的新P值

如果想从检测到一个效果移步到评估它的大小和精度，使用置信区间。

备则假设也很重要：当P值为0.05时，如果备则假设出现概率很高，则相关的错误率至少12%；而如果备则假设几乎没出现过，则相关的错误率至少76%。

P的意义不表示两组差别的大小，P反映两组差别有无统计学意义，并不表示差别大小。因此，与对照组相比，C药取得P<0.05，D药取得P <0.01并不表示D的药效比C强。P>0.05时，差异无显著意义，根据统计学原理可知，不能否认无效假设，但并不认为无效假设肯定成立。在药效统计分析中，更不表示两药等效。哪种将“两组差别无显著意义”与“两组基本等效”相同的做法是缺乏统计学依据的。