关于P值与假设检验

P值操纵

• 部分研究人员采取一些方法或策略不断尝试，使 P 值小于预先确定的标准，以得到统计显著性结论，这种现象通常被称为P 值操纵(P-hacking)。。

P值操纵的种种表现：

• 通过探索性分析确定研究假设，而不是先确定研究假设再开展探索性分析，把本应带着质疑眼光审视的探索性分析结论变得确定无疑，实际上造成结论的难以重复；
• 科研人员在实验或调查中途根据分析结果决定是否继续收集数据，若发现 P 值已达到统计显著性要求，便立即停止收集数据，以避免之后数据的加入使分析结果不再显著；
• 在实验或调查过程中记录很多变量，但数据分析中根据结果对其进行取舍，只选取那些结果具有统计显著性的变量开展最终的分析与呈现；
• 根据分析结果来决定是包含还是删除异常值，保证结论通过显著性检验；
• 根据 P 值结果反过来决定如何定义对照组即对实验/调查对象进行合并或拆分，选择那些达到显著性要求的结果；
• 倾向于选择最小 P 值的结果，当实验或调查出现多个结果时，研究人员只选择报告最小 P 值的结果或通过显著性检验的结果；
• 通过增加样本容量使 P值通过显著性检验，对于一般的假设检验，只要样本量足够大，总能使 P值小于预先确定的显著性水平，得到统计显著性结果。

如何判断是否存在P值操纵：

• P 值曲线 (p-curve) 是一组研究的 P 值分布，可用来界定研究者是否对P值进行了人为操纵。
• 不论原假设正确与否，P 值操纵都会导致在接近0.05这个阈值时，P值的频率骤然增大。

P值操纵产生的原因：

• P 值易受样本量的影响。对于同一假设检验，不管自变量影响效应的大小，样本容量越大其自由度也越大，更容易拒绝原假设而得到具有统计显著性的结论。
• P 值显著性不代表结论的实际意义。P 值结果只能判断统计学意义，并不代表研究的实际意义。
• 对P值存在一些认识上的误区。
• 科学论文的发表偏倚。

P值操纵的后果：

P 值操纵则使得分析结论容易出现假阳性、不可重复，从而阻碍科学研究的发展甚至误导决策。

应对策略：

• 正确认识和使用P值，尽可能遵循美国统计学会提出的P值使用六准则；
  • P值只是某样本数据出现的概率，而原假设成立的概率则是模型概率，两者的意义是不一样的。
• 采用 P 值的补充或替代指标，可以同时考察效应量、统计功效、置信区间、贝叶斯因子和错误发现率等指标，来判断结论的实际意义，增强结果的可靠性；
• 开展研究结果的重复性检验。

假设检验

单侧检验的一致性与矛盾性

• 在单侧检验中，同一个问题在交换原假设检验方向后，得到的结论可能相同，也可能不同。
  

参考文献：
[1]李金昌.p值的困惑[J].中国统计,2019(06):19-21.
[2]程开明,李泗娥.科学研究中的P值:误解、操纵及改进[J].数量经济技术经济研究,2019,36(07):117-136.
[3]程开明,李泗娥.P值操纵:不可忽视的统计现象[J].中国统计,2019(02):30-32.
[4]孙廷哲.以方差分析为例探讨p值决策的局限性[J].鲁东大学学报(自然科学版),2022,38(02):152-157.
[5]张晓琴,王昭元,李宇.单侧假设检验中统计量值对检验结论的影响[J].大学数学,2020,36(06):93-96.