p-value的六大原则
1. p值可以指示数据与给定模型的不相容程度
我们基于一系列的假设建立的模型为原假设,同时我们还会建设零假设,即指某种我们想要检测的效应不存在,例如两组无差,或者某个因子与结果无关。p值越小,说明数据与零假设之间越不相容,可将p值看作对零假设的存疑程度/假阳性的出现概率。
2. p值不能衡量某假设为真的概率,也不能衡量数据仅由随机因素造成的概率
尽管研究者常常希望计算出零假设是否为真,但p值只解释数据与假设之间的关系,不解释假设本身。
3. 科学结论,商业决策,政策制定,不应只取决于p值是否达到了一个给定标准
4. 研究者需对研究进行完整的报告,保证透明度,才能做出合理的推论
5. p值或统计显著性不能衡量效应的大小和结果的重要性
某项结果的统计显著性并不代表其在科学,人文,经济上的重要性。p值小不代表效应更重要,p值大也不代表无效应或效应不重要。无论某个效应的影响有多小,当样本量足够大或测量精度足够高时,总能得到小的p值。对于相同效应,测量精度不同时,得到的p值也会不同。
6. p值本身并不能衡量 模型 / 假设 的可信度
在没有一定的背景时,p值能提供的信息很有限。当有其他方法适用时,研究者对数据的分析不应止于p值。