ANOVA与机器学习

方差分析ANOVA

anova, analysis of variance, 方差分析, 又称"变异数分析", 用于两个或两个以上样本均数差别的显著性检验.

由于各种因素的影响, 观测数据呈现波动的形状, 造成波动的原因可以分为:

1. 不可控的随机因素
2. 可控因素, 这是在研究中施加的控制结果的参数引起的

组间变异和组内变异

换个角度理解, 任何观察值的总变异都可以分解为组间变异和组内变异. 假设n为样本总数, m为组数.

• 总变异(total variation)
  所有测量值之间总的变异程度 :
  $$S{S}_T=\sum _{i=1}^m\sum _{j=1}^{m_i}(X_{ij}-\bar{X}{)}^2$$

• 组间变异
  各组均数与总均数的离均差平方和：
  $$S{S}_b=\sum _{i=1}^m{m}_i(\overline{X_i}-\bar{X}{)}^2$$
  组间变异反映了各组均数的变异程度， 组间变异=随机误差+处理因素作用

• 组内变异
  用各个组内测量值$X_{ij}$ 与其所在组的均数差值的平方和来表示

S S w = ∑ i = 1 m ∑ j = 1 m i ( X i j − X i ˉ ) SS_w = \sum_{i=1}^{m} \sum_{j=1}^{m_i}(X_{ij}-\bar{X_i}) SSw​=i=1∑m​