one-way ANOVA(analysis of variance) 单向方差分析

问题描述：在比较两组独立正态分布样本的均值时用t test，那么比较多组样本的均值呢？要用one-way ANOVA。

Note: 使用ANOVA时，要假定k个组的方差相同。如果k个组的方差并不相同，就不应该使用ANOVA，要分别对两组间用t检验。

当我们看到这种要同时比较多组样本的均值时，首先就要想到one-way ANOVA，然后再想想用此检验方法是否真的合适。比如下面的例子：

研究肺功能与吸烟的关系，以“用力中期呼出量（FEF）”作为指标，统计结果如下，

组号	组名	mean(FEF)	SD(FEF)	n
1	NS(非吸烟者)	3.78	0.79	200
2	PS(被动吸烟者)	3.30	0.77	200
3	NI(非吸入吸烟者)	3.32	0.86	50
4	LS(轻度吸烟者)	3.23	0.78	200
5	MS(中度吸烟者)	2.73	0.81	200
6	HS(重度吸烟者)	2.59	0.82	200

思考过程：
1，首先，6组的方差接近，没有理由认为6组方差不等，可以使用one-way ANOVA；
2，建立零假设：6组的平均值都相同；
备择假设：6组中至少有两组均值不等。
3，计算组间平方和（组间波动）、组内平方和（组内波动）。组间平方和越大，预示着不同组的差别越大，越倾向于备择假设成立；反之，p-value就越大，倾向于零假设成立。
Within SS = ${\sum }_{i=1}^k{\sum }_{j=1}^{n_i}(y_{ij}-\overline{y_i}{)}^2，其中y_{ij}为第i组的第j个元素、\overline{y_i}为第i组的平均值$；
容易计算Within SS = ${\sum }_{i=1}^k(n_i-1)s_i^2$。
Between SS = ${\sum }_{i=1}^k{\sum }_{j=1}^{n_i}(\overline{y_i}-\overline{\stackrel{ˉ}{y}}{)}^2，其中\overline{y_i}为第i组的平均、\overline{\stackrel{ˉ}{y}}为全部的平均$；
容易计算Between SS = ${\sum }_{i=1}^k{n}_i{\overline{y_i}}^2-n{\overline{\stackrel{ˉ}{y}}}^2$。
4，构建检验统计量，书上说Between MS/Within MS服从F分布（Between MS = Between SS/(k-1)，即Between SS除以对应自由度；Within MS = Within SS/(n-k)，即Within SS除以剩下的自由度，总自由度为n-1）。
F统计量 = Between MS/Within MS（服从$F_{k-1,n-k}$分布）
5，进行统计推断。
精确p值为p = Pr($F_{k-1,n-k}>F$)

对上述例子进行计算：

Within MS = 184.38/5 = 36.875
Between MS = 663.87/1044 = 0.636
F = Between MS/Within MS = 58 ~ $F_{5,1044}$

结论：p < 0.001，所以应该要拒绝原假设，即至少有两组的平均肺功能不同。

上面的例子到这里还没有完，很多情况下会关注到底哪些组之间有显著差别，有以下几种方式：

1，指定两组间比较的t检验（least significant difference, 即LSD法），此方法跟分别对两组间用t检验的区别是要用总体的标准差（即Within MS）代替两组的标准差进行t统计量的计算。

2，预先选取$l_1$个组和$l_2$个组进行比较。例如要比较吸入抽烟者和非抽烟者的肺功能，将上表三组抽烟者合并成一组去与非抽烟者比较。遇到的问题是在人群中轻度、中度和重度抽烟者的比例不是表中的1:1:1，而是1:7:2，此时要用到线性约束的估计和检验。

一个线性约束是值对某些组的均值做线性组合，而线性组合中的系数之和为0：$L={\sum }_{i=1}^k{c}_i\bar{y}，要求{\sum }_{i=1}^k{c}_i=0$

2.1 用线性约束表示非抽烟者和吸入式抽烟者为：$L=\overline{y_1}-0.1\overline{y_2}-0.7\overline{y_3}-0.2\overline{y_4}$
2.2 设${\mu }_L为线性约束L的理论均值，则建立的假设检验如下：$
$H_0:{\mu }_L=0对H_1:{\mu }_L̸=0$
2.3 由$Var(\overline{y_i})=s^2/n_i，有L的方差为Var(L)=s^2{\sum }_{i=1}^k{c}_i^2/n_i$
2.4 计算统计量$t=L/se(L)$
2.5 进行统计推断
结论：易计算t = 14.69 ~ $t_{1044}$，p<0.001，抽烟者与非抽烟者肺功能有很大差别。

3，多重比较-Bonferroni法
3.1 此法考虑了多重假设检验，如果总共有k个组比较，则可能有$\left(\genfrac{}{}{0ex}{}{k}{2}\right)个两组比较$，如果此时把每个两组比较的p-value设为0.05，则考虑所有组对时会有很大误差（小概率事件在多次重复实验中总会发生）。
3.2 记每个两组比较的显著性水平为${\alpha }^{\ast }$，E为至少有一个两组比较是统计显著性的事件。则Pr(E)称为实验的type 1 error，即假阳性率。下面我们要决定${\alpha }^{\ast }$值使得$Pr(E)=\alpha$，
$Pr(\bar{E})=Pr(没有一个两组比较具有显著差异)=1-\alpha$,
在每个两组比较独立的情况下有$Pr(\bar{E})=(1-{\alpha }^{\ast }{)}^c,c=(\genfrac{}{}{0ex}{}{k}{2})$.
则有$1-\alpha =(1-{\alpha }^{\ast }{)}^c\approx 1-c{\alpha }^{\ast }$，
则有${\alpha }^{\ast }=\alpha /\left(\genfrac{}{}{0ex}{}{k}{2}\right)$,通常每个两组比较不可能都是统计独立的，所以${\alpha }^{\ast }$的合适值要大于$\alpha /\left(\genfrac{}{}{0ex}{}{k}{2}\right)$，即Bonferroni是保守的。
3.3 接下来除了用${\alpha }^{\ast }替换\alpha$，其它的检验操作和LSD一样。
Note: 在事先没有计划要比较特定的组且k较大时，建议使用多重比较法；在组数较小且仅对特定组感兴趣时，建议使用通常的t检验法（LSD法）。
4 线性约束下的多重比较-scheffe法
相比于2中的比较，此多重比较适用于没有事先确定要比较的线性组合，要对多重比较进行校正。
4.1 此方法的t统计量计算与2中一样：
$t=L/se(L)$
4.2 进行统计推断：
$t>a_2=\sqrt{(k-1)F_{k-1,n-k,1-\alpha }}或t<a_1=-\sqrt{(k-1)F_{k-1,n-k,1-\alpha }}时，拒绝H_0;$
$a_1<=t<=a2时，接受H_0。$其中k为组数，n为总数据数。
#######################################################

上面是用假设检验的方法对单向方差分析进行描述，下面我们用线性回归的方法对其进行描述。

上述的分析可用固定效应（相对于随机效应来说，随机效应只关心组内方差和组间方差哪个贡献大，而不关心具体的组；而固定效应要比较不同组均值的大小）的单向方差分析来表示：
$y_{ij}=\mu +{\alpha }_i+e_{ij}，$
$其中\mu 为常数，代表所有组数据混合后的均值；$
${\alpha }_i为第i组的常数，代表第i组的均值与所有数据均值的差异；$$e_{ij}为随机误差，均数为0且方差为{\sigma }^2，代表第i组第j个观察与均值\mu +{\alpha }_i间的随机误差。$

单向ANOVA与多重线性回归的关系：
建立模型：以非吸烟组为对照组，$x_1...x_5分别对应着被动吸烟、非吸入吸烟、轻度吸烟、中度吸烟和重度吸烟。$
$y=\alpha +{\beta }_1{x}_1+{\beta }_2{x}_2+{\beta }_3{x}_3+{\beta }_4{x}_4+{\beta }_5{x}_5+e$,
对模型的解释：
x1 = 1 (属于被动吸烟组) or 0 (不属于) ;
x2 = 1 (属于非吸入吸烟组) or 0 (不属于) ;
x3 = 1 (属于轻度吸烟组) or 0 (不属于) ;
x4 = 1 (属于中度吸烟组) or 0 (不属于) ;
x5 = 1 (属于重度吸烟组) or 0 (不属于) ;
对照组，即非吸烟组，可以理解为y的平均值为$\alpha$;
${\beta }_i,i=1...5,为第i组与对照组的平均差异$；
e为误差项，均值为0，方差为${\sigma }^2$。

1 假设要比较k个组的未知均数，此处组i中的观察值为正态分布，其均值和方差分别为${\mu }_i=\alpha +{\alpha }_i({\alpha }_i={\beta }_i{x}_i)，Var={\sigma }^2$；
2 $H_0:{\alpha }_i=0;H_1:至少有一个{\alpha }_i不为0$；
3 多重回归模型中的回归SS和残差SS对应着单向ANOVA中的组间SS和组内SS，F统计量和p-value都相同。
#######################################################

上面讨论是固定效应的单因素方差分析，下面来聊聊随机效应的单因素方差分析

一份调查妇女月经后期血样中雌二醇水平的统计结果如下：

人	重复1	重复2	重复间极差	平均值
1	25.2	30.4	4.9	27.95
2	11.1	15.0	3.9	13.05
3	8.0	8.1	0.1	8.05
4	20.7	16.9	3.8	18.80
5	5.8	8.4	2.6	7.10

Note:抽取5个人，每个人有两份重复的血样。

提出问题：对于血样雌二醇的水平，研究同一个的波动和不同人之间的差异哪个大。

分析问题：对于上表，并不关心不同人的平均水平的差异，而是关心数据方差的来源，这就要用到随机效应的ANOVA模型。观察发现，不同人的平均值差别较大，标准差正比于均值，要使标准差独立于平均值，可以对原始测量值去对数。

建立模型：

$y_{ij}=\mu +{\alpha }_i+e_{ij},i=1,2,...,k,j=1,2,...,n_i$
此处：
$y_{ij}为第i个受试者的第j次重复（ln(血液雌二醇水平)$
${\alpha }_i为受试者之间差异的随机变量，服从N(0,{\sigma }_A^2)$
$e_{ij}代表受试者组内的差异，它独立于{\alpha }_i且独立于其它e_{ij}$。