方差分析 卡方检验 假设检验 Pandas

方差分析

在研究一个（或多个）分类型自变量与一个数值型因变量之间的关系时，方差分析就是其中主要方法之一。
如果在数据分析过程中，遇到的分类变量有多个，且每一分类变量对应的因变量的值形成的多个总体分布都服从于正态分布，并且各个总体的方差相等，那么比较各个总体均值是否一致的问题可以用方差分析来解决。
表面上看，方差分析是检验多个总体均值是否相等的统计分析方法，但本质上它所研究的是分类型自变量对数值型因变量的影响。
方差分析就是通过检验各总体的均值是否相等来判断分类型自变量对数值型因变量是否有显著影响

每次抽样为一个试验，所要检验的对象称为因素或因子，因素的不同表现称为水平或处理；
将在试验中回改变状态的因素称为因子，常用大写字母表示
因子所处的状态称为因子的水平，常用因子的字母加下标来表示
试验中所考察的指标，它是一个随机变量

如果一个试验中所考察的因子只有一个，那么这是单因子试验的问题
假定因子$A$有$r$各水平，在每个水平下指标的全体都构成一个总体，因此共有$r$个总体。
假定第$i$个总体服从均值为${\mu }_i$，方差为${\sigma }^2$的正态分布，从该总体获得一个样本量为$m$的样本$y_{i1},y_{i2},\cdots ,y_{im}$，其观测值便是我们观测到的数据$i=1,2,\cdots ,r$，最后假定各样本是相互独立的
单因素方差分析主要是要检验如下假设：
$H_0:u_1=u_2=\cdots =u_r$
$H_1:u_1,u_2,\cdots ,u_r$不全相等

当$H_0$不真时，表示不同水平下的指标的均值有显著差异，此时称因子$A$是显著的，否则称因子$A$不显著

方差分析是在相同方差假定的下检验多个正态均值是否相等的一种统计分析方法

在方差分析中，需要考察数据误差的来源
SST称为总离差平方和，或简称总平方和，它反映了全部试验数据之间的差异
SSM组间离差平方和，简称组间平方和，或称因素$A$平方和
SSE组内离差平方和，反映了组内数据和组内平均的随机误差
$$SST=SSM+SSE$$

在方差分析中，数据的总误差可以分解为组内误差和组间误差，如果因素的不同水平对因变量没有影响，那么在组间误差中只包含随机误差，而没有系统误差。这时组间误差与组内误差经过平均后的数据就应该接近于1，反之，如果因素不同水平对因变量有影响，那么组间误差除了包含随机误差外，还包含系统误差，这时组间误差平均后的数据就会大于组内误差平均后的数值，它们之间的数值就会大于1。当这个比值大到某种程度时，就认为因素的不同水平之间存在着显著差异，也就是自变量对因变量有显著影响。

卡方检验

卡方检验是一种用途很广的计数资料的假设检验方法。它属于非参数范畴，主要是比较两个及两个以上样本率（构成比）以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题

假设检验

双样本方差

设样本$x_1,x_2,\cdots ,x_{n_1}$来自正态总体$N({\mu }_1,{\sigma }_1^2)$，$y_1,y_2,\cdots ,y_{n_2}$来自正态总体$N({\mu }_2,{\sigma }_2^2)$，则此时关于双样本方差检验为：
$$F=\frac{s_1^2}{s_2^2}$$
当${\sigma }_1^2={\sigma }_2^2$时，服从$F(n_1-1,n_2-1)$

双样本均值差检验

设样本$x_1,x_2,\cdots ,x_{n_1}$来自正态总体$N({\mu }_1,{\sigma }_1^2)$，$y_1,y_2,\cdots ,y_{n_2}$来自正态总体，且两个总体方差${\sigma }_1^2$和${\sigma }_2^2$已知，则此时关于双样本均值差检验为：
$$z=\frac{\overline{x}-\overline{y}-d_0}{\sqrt{\frac{{\sigma }_1^2}{n_1}+\frac{{\sigma }_2^2}{n_2}}}$$
当${\mu }_1-{\mu }_2=d_0$时，$z$服从$N(0,1)$

双样本等方差检验

设样本$x_1,x_2,\cdots ,x_{n_1}$来自正态总体$N({\mu }_1,{\sigma }_1^{}$