数据分析之T检验

1、定义：

t检验，亦称student t检验（Student’s t test），主要用于样本含量较小（例如n < 30），总体标准差σ未知的正态分布。 t检验是用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著。它与f检验、卡方检验并列。来源：百度百科

用于统计量服从正态分布，但方差未知的情况。

T检验分析时，当样本量较大时，很少考虑T检验的使用条件。由中心极限定理可知，只要样本量足够大，其样本均数的抽样分布仍然是正态的。即：只要数据分布不是强烈的偏态，一般而言T检验都是适用的。当样本例数n较小时，一般要求样本取自正态本体。

t检验的前提是要求样本服从正态分布或近似正态分布，不然可以利用一些变换（取对数、开根号、倒数等等）试图将其转化为服从正态分布是数据，如若还是不满足正态分布，只能利用非参数检验方法。不过当样本量大于30的时候，可以认为数据近似正态分布。

2、T检验的分类

2.1、单样本T检验

检验单个变量的均值与目标值之间是否存在差异，如果总体均值已知，样本均值与总体均值之间差异显著性检验属于单样本t检验。

2.1.1 目的

检验单样本的均值是否和已知总体的均值相等（主要用于比较一组数据与一个特定数值之间的差异情况）

2.1.2 要求

• 总体方差未知，否则就可以利用Z检验（也叫U检验，就是正态检验）
• 正态数据或近似正态

2.1.3 原假设H0与备择假设H1

• H0：样本均值与总体均值相等
• H1：样本均值与总体均值不等

2.1.4 python 中的单样本T检验 ttest_1samp

from scipy import stats
import numpy as np

np.random.seed(7654567)  # 保证每次运行都会得到相同结果
# 均值为5，方差为10
rvs = stats.norm.rvs(loc=5, scale=10, size=(50,2))

stats.ttest_1samp(rvs, [1, 2])

返回结果：
Ttest_1sampResult(statistic=array([ 2.0801775 , 2.44893711]), pvalue=array([ 0.04276084, 0.01795186]))

分别显示两列数的t统计量和p值。由p值分别为0.042和0.018，当p值小于0.05时，认为差异显著，即第一列数的均值不等于1，第二列数的均值不等于2。

• 不拒绝原假设——均值等于5

stats.ttest_1samp(rvs, 5.0)

Ttest_1sampResult(statistic=array([-0.68014479, -0.04323899]), pvalue=array([ 0.49961383, 0.96568674]))

• 拒绝原假设——均值不等于5

stats.ttest_1samp(rvs, 0.0)

Ttest_1sampResult(statistic=array([ 2.77025808, 4.11038784]), pvalue=array([ 0.00789095, 0.00014999]))

• 第一列数均值等于5，第二列数均值不等于0

stats.ttest_1samp(rvs,[5.0,0.0])

Ttest_1sampResult(statistic=array([-0.68014479, 4.11038784]), pvalue=array([ 4.99613833e-01, 1.49986458e-04]))

• 第一行数均值等于5，第二行数均值不等于0

#axis=0按列运算，axis=1按行运算
stats.ttest_1samp(rvs.T,[5.0,0.0],axis=1) 

• 将两列数据均值分别与5.0和0.0比较，得到4个t统计量和p值

stats.ttest_1samp(rvs,[[5.0],[0.0]])

Ttest_1sampResult(statistic=array([[-0.68014479, -0.04323899],[ 2.77025808, 4.11038784]]), 
pvalue=array([[ 4.99613833e-01, 9.65686743e-01],[ 7.89094663e-03, 1.49986458e-04]]))

————————————————
原文链接：https://blog.csdn.net/m0_37777649/article/details/74938120

2.1.5 补充：检验原理

————————————————
原文链接：https://zhuanlan.zhihu.com/p/138711532

2.2 独立样本t检验

用于检验两组服从正态分布的总体均值是否一样，前提是两个样本方差相等。如果两组样本彼此不独立，应该使用配对样本t检验。

2.2.1 目的

检验两独立样本的均值是否相等。

2.2.2 要求

两样本独立，服从正态分布或近似正态。

2.2.3 根据总体方差是否相等可以分为两类

2.2.3.1 总体方差相等且未知 样本方差满足

2.3.3.2 总体方差不等且未知（或者对它们一无所知）满足

2.3.3.3 检验原理（方差相等或不等都适用）

————————————————
原文链接：https://zhuanlan.zhihu.com/p/138711532

2.2.4 python中的独立样本T检验 ttest_ind

from scipy import stats
import numpy as np

np.random.seed(12345678)
#loc:平均值  scale：方差
rvs1 = stats.norm.rvs(loc=5,scale=10,size=500)  
rvs2 = stats.norm.rvs(loc=5,scale=10,size=500)

1. 当两总体方差相等时，即具有“方差齐性”，可以直接检验

• 不拒绝原假设——两总体均值相等

stats.ttest_ind(rvs1,rvs2, equal_var = True)

LeveneResult(statistic=0.9775501222315258, pvalue=0.323044034693146)

• 如果两总体具有方差齐性，错将equal_var设为False，p值变大

stats.ttest_ind(rvs1,rvs2, equal_var = False)

Ttest_indResult(statistic=0.26833823296238857, pvalue=0.78849452749501059)

2. 当不确定两总体方差是否相等时，应先利用levene检验，检验两总体是否具有方差齐性。

stats.levene(rvs1, rvs2)

LeveneResult(statistic=1.0117186648494396, pvalue=0.31473525853990908)

p值远大于0.05，认为两总体具有方差齐性。

如果两总体不具有方差齐性，需要将equal_val参数设定为“False”。这里设置成False则进行Welch’s t-test而不是Student’s t-test

注：

• 两总体方差不等时，若没有将equal_var参数设定为False，则函数会默认equal_var为True，这样会低估p值

rvs3 = stats.norm.rvs(loc=5, scale=20, size=500)
stats.ttest_ind(rvs1, rvs3)

Ttest_indResult(statistic=-0.5189533606202925, pvalue=0.6039083183389862)

• 正确的P值

rvs3 = stats.norm.rvs(loc=5, scale=20, size=500)
stats.ttest_ind(rvs1, rvs3, equal_var = False)

Ttest_indResult(statistic=0.8518907349603478, pvalue=0.39455490418122585)

2.3、配对样本t检验

用于两个样本并不互相独立，对两个总体的均值差异进行检验，原假设d=μ1-μ2=0，即假定两个总体均值相等

2.3.1 目的

分析配对定量数据之间的差异对比关系

2.3.2 要求

• 总体方差相等
• 正态数据或近似正态
• 两个样本的样本量要相同，样本先后的顺序是一一对应的。

2.3.3 检验原理

————————————————
原文链接：https://zhuanlan.zhihu.com/p/138711532

2.3.4 python 中的配对样本T检验 ttest_rel

from scipy import stats
import numpy as np

rvs1 = stats.norm.rvs(loc=5,scale=10,size=500)
rvs2 = (stats.norm.rvs(loc=5,scale=10,size=500) + stats.norm.rvs(scale=0.2,size=500))
rvs3 = (stats.norm.rvs(loc=8,scale=10,size=500) + stats.norm.rvs(scale=0.2,size=500))

• 不拒绝原假设，认为rvs1 与 rvs2 所代表的总体均值相等

stats.ttest_rel(rvs1,rvs2)

Ttest_relResult(statistic=0.24101764965300979, pvalue=0.8096404344581155)

• 拒绝原假设，认为rvs1 与 rvs3所代表的总体均值不相等

stats.ttest_rel(rvs1,rvs3)

Ttest_relResult(statistic=-3.9995108708727924, pvalue=7.308240219166128e-05)

2.4 配对T检验与独立T检验

两者的主要区别在于：配对样本t检验需要两组样本数相等，且要求每对配对数据之间要有一定的对应关系，而独立样本t检验两组数据的样本个数可以不等

• 常见的配对研究包括几种情况：
  

• 无论是哪种T检验，都要数据服从正态或近似正态分布。
  
  正态性有多种检验方法，常见方法如：正态图、正态性检验、P-P图/Q-Q图等。

  正态性检验可查看之前的文章：数据分析之正态性检验（女人近我三尺便是向我问剑）

• 非正态时处理方法

  若数据满足正态性则不用考虑此步，直接选择对应方法分析。
  若不满足，则可考虑使用非参数检验，三种T检验对应的不同的处理方法，具体说明如下：
  
  从功能上讲，它们的区别仅在于数据是否正态。除此之外，非参数检验的检验效率不如参数检验，因而在实际研究中，可能即使数据非正态，也会使用基于正态分布的参数检验。

• 对于独立样本t检验，除了要满足正态性，还需要满足方差齐的前提条件。即方差齐的情况下，才可以使用t检验。如果方差不齐，则应采用校正T检验。

在spss软件中，会分别输出方差相等与不相等时T检验的结果，如通过Levene’s检验结果即p>0.05，则说明两组数据方差齐。
上图中只有③喜欢产品这一变量不满足方差齐条件，因此应该使用校正t检验，也就是看方差不相等时的结果。

• 无论配对t检验还是独立样本t检验，都只适用于两组数据的对比，如果数据超过两组，需要使用方差分析

参考链接：T检验分析思路完整总结，来看！

用SPSS进行T检验：
参数检验（一）：为什么SPSS没有Z检验
参数检验（二）：t检验的介绍与单样本t检验的SPSS操作
参数检验（三）：独立样本和配对样本t检验的SPSS操作

其他T检验相关：
如何理解Z检验和T检验？
利用python进行T检验

待续。。。