1.假设检验学习笔记

1.1基本原理

根据样本信息与已知信息，对一个描述总体性质的命题进行“是或否”的检验与回答

1.2假设检验的推导

step1：建立原假设和备择假设

step2：确定显著性水平，临界值，拒绝御

step3：构造检验统计量

step4：代入数据，输出对应分布的分位点,计算临界值（拒绝域),做出判断

1.3两类错误

1.3.1第一类错误：原假设H0为真，但是数据却落入了拒绝域（因此做出拒绝H0的判断)。 犯第一类错误的概率被称为拒真概率α。

第二类错误：原假设H0为假，但是数据却没有落入拒绝域（因此做出接受H0的判断)。 犯第二类错误的概率被称为受伪概率β。

1.4显著性水平

在定夺临界值的时候，我们要保证发生第一类错误的概率α需要在一个给定的、较小的水平(通常取α=0.05/0.1)，此时α又被称为显著性水平。 

1.5 p值

p值是在确定的样本观测值下，给出的能拒绝原假设的最小显著性水平，它只与样本观测值和我们做的假设检验有关。 p值越小越可以拒绝原假设，例如：如果p值为0.001，比0.01的置信水平还要小，我们认为在0.01的置信水平下我们也可以拒绝原假设；而如果p值为0.025，比0.01的置信水平要大，但小于0.05，则我们认为在0.05的置信水平下我们可以拒绝原假设，但在0.01置信水平下不可以拒绝。

p值的形式与我们做的备择假设H1有关：

· 若H1的符号为≠，则：𝑝𝑣𝑎𝑙𝑢𝑒=𝑃(|𝑋|>|𝑇𝑒𝑠𝑡𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐𝑠|)

· 若H1的符号为>，则：𝑝𝑣𝑎𝑙𝑢𝑒=𝑃(𝑋>𝑇𝑒𝑠𝑡𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐𝑠)

· 若H1的符号为<，则：𝑝𝑣𝑎𝑙𝑢𝑒=𝑃(𝑋<𝑇𝑒𝑠𝑡𝑠𝑡𝑎𝑡𝑖𝑠𝑡𝑖𝑐𝑠)

2.1正态性检验

H0：样本所在分布服从正态分布

H1:样本所在分布不服从正态分布

Shapiro-Wilk检验——小样本正态性检验

样本量适用范围：样本量不得小于8，小于50最佳，小于2000效果较好，超过5000后不再适用。

· D'Agostino's K-squared test——大样本正态性检验

样本量适用范围：样本量不得小于4，除此以外越大越好。

2.2均值检验

2.2.1 单组样本均值假定的检验

检验一个样本所在总体的均值是否和一个参考值相等，这就是单组样本均值假定的检验。

常见方法：t检验和wilcoxon符号秩和检验

t检验：数据符合正态分布时可以使用，构造t检验统计量，计算P值，进行判断

wilcoxon符号秩和检验：一种非参数检验方法，数据不符合正态分布时，将数据从大到小进行排列，引入秩和统计量，进行假设检验判断

2.2.2 两组样本的均值相等性检验

step1:独立性检验（抽样意义上的独立，即一个样本的受试不影响另一个样本的受试）

step2：双样本t检验/Mannwhitneyu秩和检验
 

2.2.3成对检验

两个样本分别为同一个受试个体不同时间的受试结果。例如一组同学前后两次的考试成绩。若总体服从正态分布，则使用成对t检验；若总体不服从正态分布，则使用成对wilcoxon秩和检验。

2.2.4方差分析

因素：区分不同组别的依据

水平:对于单因素方差分析而言，进行比较的样本个数。

单因素方差分析思想：观察各个样本之间的均值差异，从而判断单一因素对总体的影响

原理解析：定义组内偏差和组间偏差，计算总的“差异程度”。

总偏差平方和𝑆𝑇：

组内偏差平方和𝑆𝑒：

组间偏差平方和𝑆𝐴：

将Se和SA除以自由度统一量纲，构造F检验统计量，进行假设检验

作业：

1.

数据量为13的甲数据集正态性假设检验的结果 : ----------------
Omnibus         0.487527
Shapiro-Wilk    0.717019
dtype: float64

 

因为Shapiro-Wilk test不显著（p>0.01），所以甲数据集是正态分布。

2.

数据量为14的数据集正态性假设检验的结果 : ----------------
Omnibus         0.127615
Shapiro-Wilk    0.111537
dtype: float64

 因为Shapiro-Wilk test不显著（p>0.01），所以乙数据集是正态分布。

2.

由excel数据分析可得

F-检验 双样本方差分析
	变量 1	变量 2
平均	14.98462	14.93571
方差	0.264744	0.285549
观测值	13	14
df	12	13
F	0.927137
P(F<=f) 单尾	0.450945
F 单尾临界	0.243911

由P>0.2>0.01,接受原假设，甲乙两样本方差无显著性差异。

3.

在显著性水平0.01下，不能拒绝两组样本方差相等的假设(p=0.8656)，因此需要使用方差相等的t检验
------------------------------------
t检验p值：0.811
Mann-Whitney检验p值：0.769
------------------------------------
两组样本均值的散点图可视化

 因为t检验的p值大于0.01，所以两种产品的直径没有显著性差异。

4.对样本丙进行正态性检验，样本丙未通过正态性检验，不符合正态分布。

数据量为17的丙的数据集正态性假设检验的结果 : ----------------
Omnibus         9.796679e-08
Shapiro-Wilk    3.649597e-05
dtype: float64

 因此，对甲乙丙三组数据进行kruskalwallis检验。

结果为:

若样本不服从正态分布，单因素方差分析的p值为0.8624406173813932

Out[22]:

levene                    0.221198
anova_oneway_notnormal    0.862441
dtype: float64

检验在0.01的显著性水平下显著，3组产品的直径均值相等，不存在显著性差异，本题的因素是车床品牌