东北大学应用数理统计第四章知识点总结——方差分析

方差分析

一、基本概念

1.1 定义

• 研究一个（或多个）分类自变量如何影响一个数值因变量的统计分析方法

1.2 目的

• 判断某些因素对于我们感兴趣的因变量是否具有“显著”的影响
• 如果因素间有交互效应，寻找最佳搭配方案

1.3 特点

• 方差分析与一般的假设检验：方差分析处理的是多个均值的情况
• 方差分析与回归、相关分析：回归与相关处理的是两个数值变量的问题，相应的散点在 $x$ 轴上具有顺序（从小到大），而方差分析的数据在 $x$ 轴上可以任意交换位置。

1.4 数学模型

1、定义

• 响应变量（因变量）：进行随机试验所考察的数值指标
• 因素或因子（自变量）：影响因变量的各不同分类原因
• 水平：各个因素所构成的组或者类型

2、例子：考察小麦产量（$y$）对于品种和施肥量的关系（两个不同的小麦品种，三个不同的施肥等级）

• 品种是否对产量有影响 $\iff H_{01}:{\alpha }_1={\alpha }_2$
• 施肥量是否对产量有影响 $\iff H_{02}:{\beta }_1={\beta }_2={\beta }_3$
  $$Y=X\beta +\epsilon$$
  $$\{\begin{array}{l}{y}_{11}={\theta }_0+{\alpha }_1+{\beta }_1+{\epsilon }_{11}\\ y_{12}={\theta }_0+{\alpha }_1+{\beta }_2+{\epsilon }_{12}\\ y_{13}={\theta }_0+{\alpha }_1+{\beta }_3+{\epsilon }_{13}\\ y_{21}={\theta }_0+{\alpha }_2+{\beta }_1+{\epsilon }_{21}\\ y_{22}={\theta }_0+{\alpha }_2+{\beta }_2+{\epsilon }_{22}\\ y_{23}={\theta }_0+{\alpha }_2+{\beta }_3+{\epsilon }_{23}\end{array}$$

二、单因素方差分析

2.1 数据的结构

$$y_{ij}={\beta }_i+{\epsilon }_{ij},1\le j\le n_i、1\le i\le r$$
主要任务：

• 检验假设： $H_0:{\beta }_1={\beta }_2=...={\beta }_r$
• 作出未知参数：${\beta }_1,{\beta }_2,...,{\beta }_r$ 以及 ${\sigma }^2$ 估计

2.2 因子效应与误差方差的估计

• 按照模型的假定，因变量的观察值来自 $r$ 个不同的正态总体
• $y_{11},...,y_{1n1}$ 来自总体 $N({\beta }_1,{\sigma }^2)$
• 未知参数 ${\beta }_1,{\beta }_2,...,{\beta }_r$ 的估计就采用各个总体的样本均值

2.3 相关定义

• 因素各水平效应的估计采用各个组内平均
  $$\widehat{{\beta }_i}=\overline{y_i}=\frac{1}{n_i}\sum _{j=1}^{n_i}{y}_{ij}\iff N({\beta }_i,\frac{{\sigma }^2}{n_i}),1\le i\le r$$
• 误差方差 ${\sigma }^2$ 的估计利用残差平方和
  $${\hat{\sigma }}^2=\frac{RSS}{n-r}=\frac{1}{n-r}\sum _{i=1}^r\sum _{j=1}^{n_s}(y_{ij}-\overline{y_i}{)}^2$$
  $$\frac{(n-r){\hat{\sigma }}^2}{{\sigma }^2}\iff {\chi }^2(n-r)$$
• $\widehat{{\beta }_1},\widehat{{\beta }_2},...,\widehat{{\beta }_r},{\hat{\sigma }}^2$ 之间相互独立

2.4 方差分析平方和分解公式

• 总平方和：表示因变量总的变化。（因子不同的水平，随机误差）
  $$TSS=\sum _{i=1}^r\sum _{j=1}^{n_i}(y_{ij}-\overline{y}{)}^2$$
• 自变量平方和：表示自变量在因变量的变化中所占的份额
  $$CSS=\sum _{i=1}^r{n}_i(\overline{y_i}-\overline{y}{)}^2$$
• 残差平方和：表示由其它原因引起的因变量变化
  $$RSS=\sum _{i=1}^r\sum _{j=1}^{n_i}(y_{ij}-\overline{y_i}{)}^2$$
  $$TSS=CSS+RSS$$

2.5 单因素方差分析的检验

• 如果零假设 $H_0:{\beta }_1={\beta }_2=...={\beta }_r$ 成立，则
  $$\frac{CSS}{{\sigma }^2}\iff {\chi }^2(r-1)$$
• 检验统计量
  $$F比=\frac{n-r}{r-1}\frac{CSS}{RSS}\iff F(r-1,n-r)$$
• 拒绝域
  $$F\ge F_{\alpha }(r-1,n-r)$$

2.6 单因素方差分析表

$$CMS=\frac{CSS}{r-1},RMS=\frac{RSS}{n-r},F-比=\frac{CMS}{RMS}$$

2.7 变量关系的强度

$$R^2=\frac{自变量平方和}{总平方和}=\frac{CSS}{TSS}$$

三、双因素方差分析

3.1 数据的结构

$$y_{ijk}=\mu +{\alpha }_i+{\beta }_j+{\gamma }_{ij}+{\epsilon }_{ijk},1\le i\le r,1\le j\le s,1\le k\le l,{\epsilon }_{ijk}\iff N(0,{\sigma }^2)$$
主要任务：

• 因子的主效应是否显著，即检验： $H_{01}:{\alpha }_1={\alpha }_2=...={\alpha }_r$，以及 $H_{02}:{\beta }_1={\beta }_2=...={\beta }_s$
• 交互效应是否显著：$H_{03}:{\gamma }_{11}={\gamma }_{12}=...={\gamma }_{rs}$
• 如果拒绝了 $H_{03}$ ，还应该寻找最佳搭配。

3.2 相关定义

• 总平均
  $$\overline{y}=\frac{1}{rsl}\sum _{i=1}^r\sum _{j=1}^s\sum _{k=1}^l{y}_{ijk}$$
• 误差平均
  $$\overline{y_{ij\cdot }}=\frac{1}{l}\sum _{k=1}^l{y}_{ijk}$$
• $A$ 因素平均
  $$\overline{y_{i\cdot \cdot }}=\frac{1}{s}\sum _{j=1}^s\overline{y_{ij\cdot }}$$
• $B$ 因素平均
  $$\overline{y_{\cdot j\cdot }}=\frac{1}{r}\sum _{i=1}^r\overline{y_{ij\cdot }}$$

3.3 方差分析平方和分解公式

• 总平方和
  $$TSS=\sum _{i=1}^r\sum _{j=1}^s\sum _{k=1}^l(y_{ijk}-\overline{y}{)}^2$$
• $A$ 因子主效应平方和
  $$SSA=sl\sum _{i=1}^r({\overline{y}}_{i\cdot \cdot }-\overline{y}{)}^2$$
• $B$ 因子主效应平方和
  $$SSB=rl\sum _{j=1}^s({\overline{y}}_{\cdot j\cdot }-\overline{y}{)}^2$$
• 交互效应平方和
  $$SSAB=l\sum _{i=1}^r\sum _{j=1}^s({\overline{y}}_{ij\cdot }-{\overline{y}}_{i\cdot \cdot }-{\overline{y}}_{\cdot j\cdot }+\overline{y}{)}^2$$
• 随机误差平方和
  $$RSS=\sum _{i=1}^r\sum _{j=1}^s\sum _{k=1}^l(y_{ijk}-{\overline{y}}_{ij\cdot }{)}^2$$
  $$TSS=SSA+SSB+SSAB+RSS$$

3.4 单因素方差分析的检验

• $\frac{RSS}{{\sigma }^2}$~${\chi }^2(rs(l-1))$
• 当 $H_{01}$ 成立时，$\frac{SSA}{{\sigma }^2}$~${\chi }^2(r-1)$
• 当 $H_{02}$ 成立时，$\frac{SSB}{{\sigma }^2}$~${\chi }^2(s-1)$
• 当 $H_{03}$ 成立时，$\frac{SSAB}{{\sigma }^2}$~${\chi }^2((r-1)(s-1))$
• 对于零假设 $H_{01}:{\alpha }_1={\alpha }_2=...={\alpha }_r$，相应的统计量及拒绝域为
  $$F_A=\frac{rs(l-1)}{r-1}\frac{SSA}{RSS}\iff F(r-1,rs(l-1))$$
  { F A ≥ F α ( r − 1 , r s ( l − 1 ) ) } \{ F_A \ge F_\alpha(r-1, rs(l-1)) \} {FA​≥Fα​(r−1,rs(l−1))}
• 对于零假设 $H_{02}:{\beta }_1={\beta }_2=...={\beta }_s$，相应的统计量及拒绝域为
  $$F_B=\frac{rs(l-1)}{s-1}\frac{SSB}{RSS}\iff F(s-1,rs(l-1))$$
  { F B ≥ F α ( s − 1 , r s ( l − 1 ) ) } \{ F_B \ge F_\alpha(s-1, rs(l-1)) \} {FB​≥Fα​(s−1,rs(l−1))}
• 对于零假设 $H_{03}:{\gamma }_{11}={\gamma }_{12}=...={\gamma }_{rs}$，相应的统计量及拒绝域为
  $$F_{AB}=\frac{rs(l-1)}{(r-1)(s-1)}\frac{SSAB}{RSS}\iff F((r-1)(s-1),rs(l-1))$$
  { F A B ≥ F α ( ( r − 1 ) ( s − 1 ) , r s ( l − 1 ) ) } \{ F_{AB} \ge F_\alpha((r-1)(s-1), rs(l-1)) \} {FAB​≥Fα​((r−1)(s−1),rs(l−1))}

3.5 双因素方差分析表