异方差检验 python_python--假设性检验基础

1 置信区间

1.1概念理解

提出问题 ：在样本抽样中，样本多大程度上能够代表总体 ？

这个问题的本质就是数据统计的误差范围是多少。 置信区间就是误差范围 ， 它表达的是一个误差范围，是对总体统计量给出一个区间估计，即统计学中的置信区间。

置信水平Confidence Level ：解释1 ：置信水平表示希望对置信区间包含总体均值有多大概率。一般用1-α表示1-α (α：显著性水平)例如，我们希望总体平均值的置信水平为95%，这表示总体均值处于置信区间中的概率为0.95。

解释2 ：置信水平是指总体参数值落在样本统计值某一区内的概率，一般用1-α表示。而置信区间是指在某一置信水平下，样本统计值与总体参数值间误差范围。 置信水平越高，区间越宽，置信区间包含总体平均值统计量的概率越

1.2大样本如何计算置信区间

当样本大小n>30时，抽样分布就很接近正态分布了，查找的是z表格。

案例：想知道成年男性的平均身高范围，已知样本大小是100人，平均值是167.1CM，样本标准差是0.2CM，置信水平95%，n>30，符合中心极限定理。

解答：标准误差：SE=0.2/10的开方=0.02cm

95%置信水平对应的z绝对值为1.96，

a=167.1-1.96*0.02=167.0608，b=167.1+1.96*0.02=167.1392

置信水平95%的置信区间为(167.0608，167.1392)

1.3小样本如何计算置信区间

当样本大小n<30时，是小样本，其抽样分布不符合正态分布，若样本分布近似正态分布，但是尾部更长，则小样本的分布符合t分布，t分布是由自由度来定义的，他只有一个参数，df=n-1，df为自由度，n为样本大小

t分布的标准分的算是如下：

其中：

是总体均值，

是

的标准差，也即为均值标准误差。

通过t分布概率表求解

的概率，先从t表格中的第一列找到所对应的自由度df，在查找第一行的P值，两者重合的地方就是所要找的T的值

案例：想知道药物对神经反映时间，需要为总体构建一个置信区间。选取一个样本，样本大小n=10，平均值为1.05秒，样本标准差为0.5秒。

解答：标准误差=0.5/

=0.158秒，通过置信水平95%和自由度9查找t，得到t=2.262，a=1.05-2.262*0.158=0.692，b=1.05+2.262*0.158=1.407，置信水平95%的置信区间为(0.692，1.407)

2. 假设性检验什么是假设检验？ - Minitab​support.minitab.com

2.1 概念理解

假设检验(hypothesis testing)是指预先对总体参数的取值做出假定，然后用样本数据来验证，从而做出是接受还是拒绝的结论又称统计假设检验。是用来判断样本与样本、样本与总体的差异。假设检验的原理：在一定的统计假设的前提下，如果发生了小概率事件，我们就有理由怀疑假设的真实性，从而拒绝接受该假设。

显著性检验显著性检验(significance test)是统计假设检验(statistical hypothesis testing)的一种，基本原理是先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受做出推断(显著性检验是用于检测科学实验中实验组与对照组之间是否有差异以及差异是否显著的办法)。(为了检验一个假设H0是否正确，首先假定该假设H0正确，然后根据样本对假设H0做出接受或拒绝的决策)

2.2假设检验的一般流程

2.2.1 提出问题：提出出零假设H0和备择假设H1第一类错误： 零假设h0实际上是真的，但被假设验证为假的，犯了第一类错误

第二类错误： 零假设h0实际上是假的，但被假设验证为真的，犯了第二类错误

通常，将在假设检验是所指定的发生第一类错误的概率的最大容许值称为检验的显著性水平，一般选择显著性水平为5%和1%。

2.2.2 确定检验类型：确定适当的检验统计量

根据x变量 &Y结果类型/ 总体样本方差是否已知/样本容量大小 来确认检验类型

2.2.2.1 X Y分类

2.2.2.1 x变量 ：类别变量 Y结果为类别变量 则使用 卡方检验

卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小 。 eg：卡方检验可以检验男性或者女性对线上买生鲜食品有没有区别；不同城市级别的消费者对买SUV车有没有什么区别。

2.2.2.2x变量 ：类别变量 Y结果为数值变量 则使用方差分析或者Z/T检验

方差分析

方差分析可以用于两样本及以上样本之间的比较。检验方差相等的多个正态总体均值是否相等，进而判断各因素对试验指标的影响是否显著

方差分析使用条件方差分析用来分析定量数据的变化情况，可以比较2组或多组数据的差异。

方差分析要求样本满足正态分布

方差分析的前提是方差齐性

方差分析应用场景

①均数差别的显著性检验，②分离各有关因素并估计其对总变异的作用，③分析因素间的交互作用，④方差齐性检验。

2.2.2.3 总体方差已知/样本容量n>=30

当大样本时，即样本容量n>=30，无论总体为何分布，均值的抽样分布均为正态分布。(中心极限定理)则使用Z检验 Z检验是一般用于大样本(即样本容量大于30)平均值差异性检验的方法。

T检验和Z检验都来源于Z-SCORE，公式意思是(样本平均值-总体平均值)/ 标准误差。标准误差(Standard Error )SE 就是总体标准误差除以

。

1.总体标准差已知或样本容量大于30，比较两个样本的均值是否有显著性的差异，检验公式如下：

2、总体标准差已知或样本容量大于30，比较某个总体的均值与某个常数是否有显著性的差异，检验公式如下：

2.2.2.4 总体方差未知/样本容量n<30

当小样本时，即样本容量n<30，假如总体近似服从正态分布，使用T检验；T检验只能用于两样本均数及样本均数与总体均数之间的比较

1 ) 正态性检验

无论哪种T检验、都要求数据服从正态或者近似正态分布。正态性的检验方法有：正态图、正态性检验、P-P图/Q-Q图等

2 )单样本t检验

检验这组数据的均值与已知的总体均值是否相等

例：某大学生的平均身高(样本均值)是否大于全国平均身高167.2cm(总体均值)?

3)配对t检验

用于检验有一定对应关系的样本之间的差异情况，需要两组样本数相等。

常见的使用场景有：

①同一对象处理前后的对比(同一组人员采用同一种减肥方法前后的效果对比)；

②同一对象采用两种方法检验的结果的对比(同一组人员分别服用两种减肥药后的效果对比)；

③配对的两个对象分别接受两种处理后的结果对比(两组人员，按照体重进行配对，服用不同的减肥药，对比服药后的两组人员的体重)。

4)独立样本T检验

检验两组样本的均值是否相等 ，总体需要满足正态分布 和 方差齐性！(独立样本T检验在实验比较时使用频率更高)

独立样本T检验和配对样本T检验功能上都是比较差异，而且均是比较两个组别差异。但二者有着实质性区别，如果是比较不同性别，婚姻状况(已婚和未婚)样本对某变量的差异时，应该使用独立样本T检验。如果比较组别之间有配对关系时，只能使用配对样本T检验，配对关系是指类似实验组和对照组的这类关系。另外独立样本T检验两组样本个数可以不相等，而配对样本T检验的两组样本量需要完全相等

4-1)方差齐性检验(F检验)

F检验又叫方差齐性检验。在两样本t检验中要用到F检验。从两研究总体中随机抽取样本，要对这两个样本进行比较的时候，首先要判断两总体方差是否相同，即方差齐性。若两总体方差相等，则直接用t检验，若不等，可采用t'检验或变量变换或秩和检验等方法。其中要判断两总体方差是否相等，就可以用F检验。简单的说就是 检验两个样本的 方差是否有显著性差异 这是选择何种T检验(等方差双样本检验，异方差双样本检验)的前提条件。Coffee：一文详解F检验​zhuanlan.zhihu.com

4-2) 计算t值

①当方差相同时，公式：

其中：S1^2和 S2^2为两样本方差；n1 和n2 为两样本容量。自由度df=n1+n2-2

②当方差不相同时，公式：

Coffee：一文详解t检验​zhuanlan.zhihu.com

2.2.3 确定检验方向

看备择假设H1的描述, 假设检验分为双侧检验和单侧检验：

若目的是推断两总体均数是否不等，应选用双侧检验。

H0：μ=μ0，H1：μ≠μ0

若从专业知识已知不会出现μμ0)的情况，则选用单侧检验。

H0：μ=μ0，H1：μ>μ0

2.2.4 证据是什么

P-value就是：在零假设H0成立的条件下，出现样本均值的概率是多少

当两样本发生对照后，需要一个总体代表性的出错概率，这个概率就是P-value。

t检验的p值计算过程：

方法一：根据样本均值和标准误，结合抽样分布类型，先计算出检验统计量和自由度，手动查表计算p值；

方法二：使用Python的科学计算包scipy自动计算检验统计量和p值。

2.2.5判断标准是什么

需要建立判断标准来检验证据是否有效。置信区间概率=1-拒绝域概率P(左右对称)

当统计量P值<=

显著性水平时，拒绝零假设，当P>

显著性水平时，我们接受零假设。

在假设检验里叫做“显著水平”，用符号α，一般取值为0.1%，1%，5%。它是一个概率值，用于表示不可能发生和可能发生的临界值。

当我们算出的统计量的值P小于等于显著性水平α，说明该事件是一个小概率事件，发生的可能性很小很小，但是在实验过程中出现了这情况种，说明零假设是错误的，所以拒绝零假设。

2.2.6得出结论

根据检验是单尾还是双尾，用最终的p值与α值做比较：

当p<=α时，拒绝零假设H0，接受备择假设H1；

当p>α时，没有充分的证据拒绝零假设(倾向于接受H0，但需要进一步证据)

3 假设检验实例解析

一个著名的栗子：神经学家要测试一种药物对反应时间的效果，分别对100只老鼠注射一单位剂量的药物然后对其进行神经刺激，然后记录反应时间，已知没有注射药物的老鼠的平均反应时间为1.2秒，结果测出：100只注射药物的老鼠的平均反应时间为1.05秒，(样本的标准差为0.5S) 当你看到这个结果，你是否信任这个结果？

1、确定要检验的假设

零假设H0:药物对反应时间无效果 平均反应时间为

备择假设H1: 药物对反应时间有效果， 平均反应时间为

2、选择检验统计量

实验组：样本n=100,

=1.05, S=0.5 ;

对照组：样本n=100，

=1.2，标准差S未知

x变量 ：类别变量(有无注射药物)， Y结果为数值变量 (反应时间Y是数值变量) ，排除卡方检验，则使用方差分析或者Z/T检验

实验组 标准差s已知 和对照组标准差s未知 因方差分析需要满足方差齐性，故排除方差分析，只剩下Z/T检验 可选

样本大小为n=100>30 ，样本容量为大样本，且呈正态分布 故排除T检验 故最终使用Z检验

通过z统计量值来检验 根据公式

,样本的均值

; 样本的标准误差

, 总体的均值

，求出z =-3，说明了样本的均值距离

有三个标准差

3、确定拒绝域

取显著水平为0.05，本次为单尾检测，根据0.05的概率，查Z表格，可知临界值Z = -1.64

a=样本平均值-1.64*标准误差=1.05-1.64*0.05=0.97

b=样本平均值+1.64*标准误差=1.05+1.64*0.05=1.13

即置信区间 [a,b]=[0.97，1.13] 即拒绝域即是[0.97，1.13] 之外的区域

4、求出检验统计量的p值

根据经验法则 3个标准差内的概率是99.7%，则p= 1-99.7% = 0.003

5、查看样本结果是否位于拒绝域

p=0.003 <

=0.05，小概率时间发生，则拒绝零假设 ;

或者 1.2 在拒接域范围内 则拒绝零假设

6、做出决策

如果零假设成立，p=0.003 <

=0.05 小概率事件发生了，所以拒绝零假设，药物对反应时间有效果 。

4. 假设检验报告的一般格式

4.1 描述统计分析

对样本数据进行描述统计，报告平均值和标准差。

4.2 推论统计分析

(1)报告假设检验结果

采用APA格式，需要报告检验类型、抽样分布类型、检验方向、检验统计量、p值、显著性水平α；

(2)报告置信区间

根据APA格式，需要报告置信区间的类型、置信水平、置信区间上下限；

(3)报告效应量

为什么要给出效应量？

在判断某个调查研究的结果，是否有意义或者重要时，要考虑的另一项指标是效应量。效应量太小，意味着处理即使达到了显著水平，也缺乏实用价值。统计显著：两个总体之间有差异，效果显著：衡量两个总体之间差异的大小。所以，在假设检验中，我们给出了是否具有统计显著性，也要给出效应量，一起来判断研究结果是否有意义。

1、差异指标

以标准差为单位衡量两组平均值之间的差距

2、相关度指标

R平方，表示某个变量的变化比例与另一变量的关系。可以用t检验的信息推出R平方的公式，这里的t值是从t检验中获得的值，df是自由度。

效应量报告格式：d=x.xx ，R2=.xx