方差分析_方差分析sst-CSDN博客

本文链接：https://blog.csdn.net/qq_39284106/article/details/104194320

方差分析ANOVA-analysis of variance

方差分析的基本原理：主要是研究一个或多个分类变量对因变量的影响，并结合假设检验方法来解释和分析自变量对因变量的影响是否具有显著性。

所谓的假设，就是针对分类变量水平（总体），假设每个总体的均值是否相等或不完全相等，如果相等的话，那么分类自变量对因变量的影响无显著性，否则反之。

因素，俗称‘变量’；水平，俗称‘变量取值’；

方差分析中有3个基本假定：

每个总体都应服从正态分布；
各个总体的方差 $\large \sigma ^{2}$ 必须相同；
观测值是独立的；

单因素方差分析（单变量方差分析）

单因素方差分析研究的是一个分类型自变量对一个数值型因变量的影响。

单因素方差分析-分析步骤

为检验自变量对因变量是否有显著影响，首先需要提出‘两个变量在总体中没有关系’的原假设，然后构造一个用于检验的统计量来检验这一假设是否成立。

在方差分析中，原假设所描述的是按照自变量的取值分成的类中，因变量的均值相等。因此，检验因素（自变量）的 $\large k$ 个取值（水平）或（总体）的均值是否相等，需要提出以下假设：

（1）提出假设

$\large H_{0}:\mu _{1}=\mu _{2}=...=\mu _{i}=...\mu _{k}$ 自变量对因变量没有显著影响

$\large H_{1}:\mu _{i}(i=1,2,...,{k})$ 自变量对因变量有显著影响

（2）构造检验的统计量

计算各个水平（总体）的均值 $\large \bar{x}_{k}$ （自变量各个取值对应因变量的均值, $\large k$ 代表某个水平）
计算全部观测值的总均值 $\large \bar{\bar{x}}$ （即因变量的均值）
计算各误差平方和（总平方和、组间平方和、组内平方和）

总平方和SST，反映了全部观测值与其均值之间的差异。

$\large SST = \sum_{i=1}^{k} \sum_{j=1}^{n_{i}}\left ( x_{ij}-\bar{\bar{x}} \right )^{2}$

组间平方和SSA，又称因素平方和，它反映了各个水平（总体）的均值与全部观测值的总均值之间的差异程度。

$\large SSA=\sum_{i=1}^{k}n_{i}\left ( \bar{x_{i}}-\bar{\bar{x}} \right )^{2}$

组内平方和SSE，又称误差平方和或残差平方和，它是每个水平或组的各样本数据与其组均值的误差平方和，反映每个样本个观测值的离散程度，该平方和反映了随机误差的大小。

$\large SSE=\sum_{i=1}^{k} \sum_{j=1}^{n_{i}}\left ( x_{ij}-\bar{x_{i}} \right )^{2}$

三个平方和之间的关系为：

SST = SSA + SSE

$\large \sum_{i=1}^{k} \sum_{j=1}^{n_{i}}\left ( x_{ij}-\bar{\bar{x}} \right )^{2}=\sum_{i=1}^{k}n_{i}\left ( \bar{x_{i}}-\bar{\bar{x}} \right )^{2} +\sum_{i=1}^{k} \sum_{j=1}^{n_{i}}\left ( x_{ij}-\bar{x_{i}} \right )^{2}$

从三个误差平方和可以看出，

SSA是对随机误差和系统误差大小的度量，它反映了自变量对因变量的影响，也称为自变量效应或因子效应；

SSE是对随机误差大小的度量，它反映了除自变量对因变量的影响之外其他因素对因变量的总影响，也称为残差变量，它引起的误差称为残差效应；

SST是对全部数据总误差程度的度量，它反映了自变量和残差变量的共同影响，因此它等于自变量效应加残差效应。

计算统计量

注意：由于各误差平方和的大小与观测值的多少有关，为了消除观测值多少对误差平方和大小的影响，需要将其平均，也就是各平方和除以它们所对应的自由度，这一结果称为均方，也称为方差。

$\large n$ 为全部观测值的个数；

$\large k$ 为因素水平（总体）个数；

组间均方MSA：

$\large MSA = \frac{SSA}{k-1}$

组内均方MSE：

$\large MSE = \frac{SSE}{n-k}$

检验统计量F：

$\large F = \frac{MSA}{MSE}\sim F(k-1, n-k)$

（3）作出统计决策

根据给定的显著性水平 $\large \alpha$ ，在F分布表中查找与分子自由度 $\large df_{1} = k-1$ 、分母自由度 $\large df_{2} = n-k$ 相应的临界值 $\large F_{\alpha }\left ( k-1, n-k \right )$ 。

若 $\large F>F_{\alpha }$ ，则拒绝原假设 $\large H_{0}:\mu _{1}=\mu _{2}=...=\mu _{k}$ ，表明 $\large \mu _{i}(i=1,2,...,k)$ 之间的差异是显著的，也就是说，所检验的因素对因变量有显著影响；

若 $\large F<F_{\alpha }$ ，则不拒绝原假设 $\large H_{0}$ ，没有证据表明 $\large \mu _{i}(i=1,2,...,k)$ 之间有显著差异，也就是说，这时还不能认为所检验的因素对观测值有显著影响；

双因素方差分析（双变量方差分析）

双因素方差分析研究的是两个分类型自变量对一个数值型因变量的影响。

无交互式作用的双因素方差分析（无重复双因素分析）

无重复双因素分析：假定两个因素对因变量的影响是独立的。

总平方和SST

$\large SST = \sum_{i=1}^{k} \sum_{j=1}^{r}\left ( x_{ij}-\bar{\bar{x}} \right )^{2}$

行因素误差平方和SSR

$\large SSR = \sum_{i=1}^{k} \sum_{j=1}^{r}\left (\bar{ x}_{i.}-\bar{\bar{x}} \right )^{2}$

列因素误差平方和SSC

$\large SSC = \sum_{i=1}^{k} \sum_{j=1}^{r}\left (\bar{ x}_{.j}-\bar{\bar{x}} \right )^{2}$

误差平方和SSE

$\large SSE = \sum_{i=1}^{k} \sum_{j=1}^{r}\left (x_{ij} - \bar{ x}_{i.}- \bar{ x}_{.j} + \bar{\bar{x}} \right )^{2}$

上述各平方和的关系为：

SST = SSR + SSC + SSE

$\large n$ 为全部观测值的个数；

$\large k$ 为行因素水平（总体）个数；

$\large r$ 为列因素水平（总体）个数；

行因素的均方MSR

$\large MSR=\frac{SSR}{k-1}$

列因素的均方MSC

$\large MSC = \frac{SSC}{r-1}$

随机误差项的均方MSE

$\large MSE = \frac{SSE}{(k-1)(r-1)}$

行因素的检验统计量 $\large F_{R}$

$\large F_{R} = \frac{MSR}{MSE} \sim F(k-1, (k-1)(r-1))$

列因素的检验统计量 $\large F_{C}$

$\large F_{C} = \frac{MSC}{MSE} \sim F(r-1, (k-1)(r-1))$

有交互式作用的双因素方差分析（可重复双因素分析）

注意：考虑交互作用对因变量的影响。

总平方和SST

$\large SST = \sum_{i=1}^{k} \sum_{j=1}^{r}\sum_{l=1}^{m}\left ( x_{ijl}-\bar{\bar{x}} \right )^{2}$

行因素误差平方和SSR

$\large SSR = rm\sum_{i=1}^{k} \left (\bar{ x}_{i.}-\bar{\bar{x}} \right )^{2}$

列因素误差平方和SSC

$\large SSC = km\sum_{j=1}^{r}\left (\bar{ x}_{.j}-\bar{\bar{x}} \right )^{2}$

交互作用平方和SSRC

$\large SSRC = m\sum_{i=1}^{k} \sum_{j=1}^{r}\left (\bar{x}_{ij} - \bar{ x}_{i.}- \bar{ x}_{.j} + \bar{\bar{x}} \right )^{2}$

误差平方和SSE

SSE = SST - SSR - SSC - SSRC

$\large n$ 为全部观测值的个数；

$\large k$ 为行因素水平（总体）个数；

$\large r$ 为列因素水平（总体）个数；

行因素的均方MSR

$\large MSR=\frac{SSR}{k-1}$

列因素的均方MSC

$\large MSC = \frac{SSC}{r-1}$

交互作用的均方MSE

$\large MSRC = \frac{SSRC}{(k-1)(r-1)}$

随机误差项的均方MSE

$\large MSE = \frac{SSE}{kr(m-1)}$

行因素的检验统计量 $\large F_{R}$

$\large F_{R} = \frac{MSR}{MSE} \sim F(k-1,kr(m-1))$

列因素的检验统计量 $\large F_{C}$

$\large F_{C} = \frac{MSC}{MSE} \sim F(r-1,kr(m-1))$

交互作用的检验统计量 $\large F_{RC}$

$\large F_{RC} = \frac{MSRC}{MSE} \sim F((k-1)(r-1), kr(m-1))$