pandas判断一个值是否为空_如何判断一个样本是否来自正态分布的总体？

题记：本文与各位朋友一起分享正态性判断的实用方法。

正确判断一个样本所来自的总体分布情况是一个重要话题，总体的分布情况与统计方法选择密切相关。那么，有没有靠谱的方法判断一个样本来自什么样的总体？答案是否定的。因为总体基本不可获得，所以总体的真实分布类型基本靠“猜”。但这里有些经验性判断方法可供参考。

1. 极限值思考法

正态分布曲线形状如一口钟，故又称钟形曲线。从正态分布曲线形状，我们会有一个很直观的印象，大部分个体取值处于中间水平，高值和低值的个体所占比例较低，而且所有个体的取值在一个范围内波动。临床上有一类资料，恒定在一个范围内波动，一般不会逾越这个范围，这类资料一般是正态分布的。比如身高，成年人身高很难超过2.5米也很少有低于1米的；再比如血糖，人类的血糖很少低于2.5 mmol/L也基本不会高于50 mmol/L；类似的还有总蛋白、血钾等大部分生化、电解质指标。这类资料一般是正态分布的，集中趋势用均数描述，离散趋势用标准差描述。

2. 开口资料非正态分布

而有些临床资料恒定不是正态分布资料，比如没有最大值抑或没有最小值的开口资料。比如一些内分泌激素，上不封顶，高到可能现有的检测手段检测不出来。再比如一些肿瘤标志物的水平，一些血或尿中的重金属含量等。这类资料呈偏态分布，集中趋势用中位数描述，离散趋势用四分位数间距描述。

3. 量纲是指数级的资料非正态分布

比如，PCR方法检测的HBV DNA载量，比如采用倍比稀释法检测的抗体滴度。

4. 标准差与均数比较

一个正态分布的资料，离散趋势一般不会太明显，体现在均数和标准差大小上，标准差一般不会大于均数，如果标准差与均数相当或者大于均数，在样本量不是太小的情况下(一般N大于20)，那我们一般认为这种情况总体不符合正态分布。但请各位读者注意这只是经验性判断方法，不能上升为放之四海而皆准的理论。严格讲，标准差仅说明数据的离散趋势大小，与样本对应的总体分布无确定对应关系。

再次声明以上为笔者总结的经验性判断方法，无法提供其可靠的参考文献来源和理论依据，但实践过程中证明是有效的。

下面我们介绍几种在统计理论上看起来高大上的统计方法用于判断一个样本是否来自正态分布的总体。我们使用的工具为GraphPad Prism 8 (GraphPad Software, San Diego, USA)。这是目前判断总体正态性最便捷的统计软件，笔者很推荐。软件中介绍了4种正态性判断的统计方法和1种图示法判断正态分布(Q-Q图)[1]。

5. 案例分析

我们模拟了一组数据，N=50，数据如下表1：

表1. 模拟数据，N=50

30	49	4	60	80
17	37	61	70	23
22	28	23	63	15
19	61	71	83	57
23	18	66	74	16
17	60	24	2	24
22	46	42	31	9
8	74	78	57	58
19	69	64	20	67
10	54	35	52	76

把上表数据录入GraphPad Prism 软件的数据录入窗口。按如下图1与图2操作即可的结果。

图1. 如图做出选择进行正态性检验。

图2. 如图进行选择，同时进行4种方法正态性检验并绘制Q-Q图。

统计分析结果如下表2所示，可见4种方法计算结果一致，尚不能认为该样本来自正态分布的总体。那么4种方法计算结果是否有差别呢？一般来讲样本量足够的情况下，比如N大于40，这几种方法的计算结果基本一致，但当样本量N小于20，这几种方法可能会自相矛盾。换句话讲，当样本量不大的时候，这几种方法都不靠谱。如果一定要做出推荐，那么我的推荐就是：只有4种方法计算结果完全一致的情况下，结果才可信；样本量N小于20时建议选择第一种方法，即Anderson-Darlingtest，强烈不建议选择最后一种方法，即SPSS软件中提供的Kolmogorov-Smirnovtest。

表2. 正态性检验统计分析结果

Test for normal distribution
Anderson-Darling test
A2*	1.498
P value	0.0006
Passed normality test (alpha=0.05)?	No
P value summary	***
D'Agostino & Pearson test
K2	29.74
P value	<0.0001
Passed normality test (alpha=0.05)?	No
P value summary	****
Shapiro-Wilk test
W	0.9234
P value	0.0031
Passed normality test (alpha=0.05)?	No
P value summary	**
Kolmogorov-Smirnov test
KS distance	0.1687
P value	0.0011
Passed normality test (alpha=0.05)?	No
P value summary	**
Number of values	50

Q-Q图示结果如下图3所示。从下图可以看出，尚不能认为这个样本来自于正态分布的总体。这是一种视觉化的判断方法，当散点近似分布在对角线上时，我们才有足够的信心认为这个样本来自于正态分布的总体。

图3.Q-Q图

其他软件是否可以实现这些正态性检验的方法呢？答案是肯定的。国内马兴华等曾对此作出过总结[2]，下图4罗列了目前主流统计软件使用的正态性检验方法，供读者参考。

图4. 各种数值变量正态性检验方法的统计量及软件实现(引用自马兴华, 张晋昕. 数值变量正态性检验常用方法的对比[J]. 循证医学, 2014, 14(2): 123-123.)

6. 讨论与总结

以上，笔者从经验性判断与统计方法判断两个角度总结了正态性检验的方法，供各位读者参考。虽然这些正态性检验的方法在主流统计软件中均可实现，如上图4所示，但笔者还是推荐GraphPad Prism这个可视化软件进行正态性检验，较为便捷。

参考文献

[1].https://www.graphpad.com/guides/prism/8/statistics/index.htm?the_gaussian_distribution.htm

[2].马兴华, 张晋昕. 数值变量正态性检验常用方法的对比[J]. 循证医学, 2014, 14(2): 123-123.