方差分析与一元线性回归

在一般的回归教材中，都不会提到经典的方差分析，而在数理统计教材中，方差分析又往往作为独立于回归分析的章节存在。所以我们一般不会去思考方差分析与回归分析之间的关系。而事实上，方差分析就是一种特殊的回归分析，oneway-anova和一元线性回归时完全等价的！

oneway-anova

举个栗子，一个因子A下有三个水平 $A_1,A_2,A_3$，我们要比较这三个水平间是否有显著的差异, 每一个$A_i$的观测都是 $y_{i1},y_{i2},...,y_{i{n}_i}$,各水平均值记为 ${\mu }_i$, 总体均值记为$\mu$, 水平效应 $a_i=\mu -{\mu }_i$, 总观测数为 $n=n_1+n_2+n_3$。
$$H_0:a_1=a_2=a_3=0$$
$$F=\frac{S_A/f_A}{S_e/f_e}\sim F(f_A,f_e)=F(2,n-3)$$
其中，$S_A$ 是组间偏差平方和，$S_e$ 是组内偏差平方和。

一元线性回归

上述方差分析的目的在于检验3个水平间是否有差距，放在线性回归里，检验3个水平是否有差距的方法就是把三个水平上的观测值作为因变量，把水平的类别作为自变量，然后检验回归系数的显著性。
可以通过设置哑变量，实现将水平类别作为自变量。因为有3个水平，所以可设置2个哑变量$x_1,x_2$, 则3个水平对应的 $(x_1,x_2)$ 取值分别为 (0,0), (1,0), (0,1)。再考虑上截距项，设计矩阵为:
$X$ = ${\left(\begin{array}{ccc}1& 0& 0\\ ..& ..& ..\\ 1& 1& 0\\ ..& ..& ..\\ 1& 0& 1\\ ..& ..& ..\end{array}\right)}_{n\ast 3}$

回归方程为：$Y=X\beta +ϵ$
因变量取值为：$y=(y_{11},...,y_{1n_1},y_{21},...,y_{2n_2},y_{31},...,y_{3n_3}{)}^T$

使用最小二乘法解得：$$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }y=({\mu }_1,-{\mu }_1+{\mu }_2,-{\mu }_1+{\mu }_3{)}^T$$
$$H_0:{\beta }_1={\beta }_2={\beta }_3=0$$
$$F=\frac{SSR/p}{SSE/n-p-1}\sim F(p,n-p-1)=F(2,n-3)$$

anova vs. 一元线性回归

上面可以看出，两个统计量服从的是一模一样的分布 $F(2,n-3)$。那么从其他的角度看呢？

数值的关系
事实上，根据 $S_A,S_e,SSR,SSE$ 的定义，以及上面求出的 $\hat{\beta }=({\mu }_1,-{\mu }_1+{\mu }_2,-{\mu }_1+{\mu }_3{)}^T$, 我们可以得出数值上的关系：$S_A=SSR$，$S_e=SSE$.

原假设的关系
对于anova的原假设 $H_0:a_1=a_2=a_3=0$ 和线性回归的原假设$H_0:{\beta }_1={\beta }_2={\beta }_3=0$而言，都可以写为$H_0:{\mu }_1={\mu }_2={\mu }_3=0$.

参考文献

《概率论与数理统计》，茆诗松，P423-432
《应用回归分析》，何晓群，P71