方差分析与回归分析

单因素方差分析

1. 方差分析就是要比较因素A的r个水平下试验指标理论均值的差异
   $$H_0:{\mu }_1={\mu }_2=...={\mu }_r,H_1:{\mu }_1,{\mu }_2,...,{\mu }_r不全相等$$
2. 总离差平方和(整体差异)
   $$S{S}_T=\sum _{i=1}^r\sum _{j=1}^{n_i}(X_{ij}-\bar{X}{)}^2$$
3. 效应平方和（由于因素A引起的差异）
   $$S{S}_A=\sum _{i=1}^r{n}_i({\bar{X}}_{i\cdot }-\bar{X}{)}^2$$
4. 误差平方和（由随机误差所引起的差异）
   $$S{S}_E=\sum _{i=1}^r\sum _{j=1}^{n_i}(X_{ij}-{\bar{X}}_{i\cdot }{)}^2$$
5. 平方和分解公式：
   $$S{S}_T=S{S}_E+S{S}_A$$
6. 定理
   (i) $\frac{S{S}_E}{{\sigma }^2}\sim {\chi }^2(n-r)$
   即误差平方和除以方差（指的是随机误差的方差）的平方服从卡方分布
   (ii) 误差平方和和效应平方和相互独立
   (iii) 效应平方和的期望为$$E(S{S}_A)=(r-1){\sigma }^2+\sum _{i=1}^r{n}_i{\alpha }_i^2$$进一步有 $$\frac{S{S}_A}{{\sigma }^2}\sim {\chi }^2(r-1)$$在r个水平下的均值相同条件下，有$$F=\frac{M{S}_A}{M{S}_E}\sim F(r-1,n-r)$$其中$M{S}_A=\frac{S{S}_A}{r-1},M{S}_E=\frac{S{S}_E}{n-r}$
7. 根据以上定理，可以通过$F$检验来进行方差分析，如果F值比较大的话（落在了{$F\ge C$}的区间内），那么判定均值存在差异。
8. 如果$F$检验是拒绝原假设，那么就要一一检验各均值是否存在差异，即多重比较。（可以通过两个正态总体均值t检验来获得结果）
   $$t_{ij}=\frac{{\bar{X}}_{i\cdot }-{\bar{X}}_{j\cdot }}{\sqrt{M{S}_E(\frac{1}{n_i}+\frac{1}{n_j})}}\sim t(n-r)$$
   可以看到，方差用了全部数据$M{S}_E$来估计
9. 方差分析的前提
   (i) 独立性：各个水平下的总体都是简单随机样本
   (ii) 正态性：各个水平下的总体均为正态总体
   (iii) 方差齐性：各个水平下的总体方差是相同的
10. 如何检验方差齐性？每组样本都有一个样本标准差，最大样本标准差不超过最小样本标准差的两倍

多因素方差分析

没有交互作用的双因素方差分析

1. 主要任务是系统分析因素A和因素B对试验指标的影响
   $$H_{01}:{\alpha }_1={\alpha }_2=...={\alpha }_r=0,H_{11}:{\alpha }_1,{\alpha }_2,...,{\alpha }_r不全为零$$
   $$H_{02}:{\beta }_1={\beta }_2=...={\beta }_s=0,H_{12}:{\beta }_1,{\beta }_2,...,{\beta }_s不全为零$$
2. 方差和分解公式：
   $$S{S}_T=S{S}_A+S{S}_B+S{S}_E$$
   其中$$S{S}_E=\sum _{i=1}^r\sum _{j=1}^s(X_{ij}-{\bar{X}}_{i\cdot }-{\bar{X}}_{\cdot j}+\bar{X}{)}^2$$
3. 可以证明在原假设成立的情况下
   $$F_A=M{S}_A/M{S}_E\sim F(r-1,(r-1)(s-1))$$
   $$F_B=M{S}_B/M{S}_E\sim F(s-1,(r-1)(s-1)))$$
   进行$F$检验即可

有交互作用的双因素方差分析

1. 因素A有r个水平，因素B有s个水平，在每个因素的各个不同水平下均进行了重复t次试验。（在没有交互作用的双因素方差分析下t=1）
2. 方差和分解公式：
   $$S{S}_T=S{S}_A+S{S}_B+S{S}_{AB}+S{S}_E$$
   其中
   $$S{S}_{AB}=t\sum _{i=1}^r\sum _{j=1}^s({\bar{X}}_{ij\cdot }-{\bar{X}}_{i\cdot \cdot }-{\bar{X}}_{\cdot j\cdot }+\bar{X}{)}^2$$
3. 可以证明在原假设成立的情况下
   $$F_A=M{S}_A/M{S}_E\sim F(r-1,rs(t-1))$$
   $$F_B=M{S}_B/M{S}_E\sim F(s-1,rs(t-1))$$
   $$F_{AB}=M{S}_{AB}/M{S}_E\sim F((r-1)(s-1),rs(t-1))$$
   进行$F$检验即可

相关系数

1. 相关系数作为两个随机变量之间线性相关程度的描述
   $$\rho =\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$$
2. 在真实情况下，用如下定义的r作为$\rho$的估计：
   $$\rho =\frac{s_{xy}}{\sqrt{s_{xx}{s}_{yy}}}$$
   其中，$s_{xx}$与$s_{yy}$分别估计随机变量$X$与$Y$的方差，$s_{xy}$估计$X$与$Y$的协方差
3. 此方法得到的相关系数估计基本不为零，但是这不代表真正的相关系数不为零。 为此，可以用皮尔逊统计量来检验X与Y是否显著线性相关皮尔逊统计量定义为
   $$T=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}\sim t(n-2)$$
   用以判断X与Y的相关系数是否显著不为零，即X与Y显著线性相关

一元线性回归

y关于x的回归函数为
$$E(y|x)={\beta }_0+{\beta }_{1}x$$
这说明得到的y关于x的一元线性回归方程$\hat{y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}x$中的$\hat{y}$是y的期望的估计，它在平均意义下表示了y随x变化的统计规律性

参数估计及参数的性质

有很多方法可以对模型参数进行估计，这里只介绍最小二乘法（采用极大似然估计也可以给出模型的参数估计）
最小二乘法的想法是最小化
$$Q({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$
利用微积分求极值的方法，求偏导为零记得到${\hat{\beta }}_0$和${\hat{\beta }}_1$

所得到的估计的${\hat{\beta }}_0$和${\hat{\beta }}_1$有一些性质：
(1) ${\hat{\beta }}_1\sim N({\beta }_1,{\sigma }^2/s_{xx})$
(2) ${\hat{\beta }}_0\sim N({\beta }_0,(\frac{1}{n}+\frac{{\bar{x}}^2}{s_{xx}}){\sigma }^2)$

可以看到还剩$\sigma$的估计，我们用$s^2$来估计${\sigma }^2$
$$s^2=\frac{1}{n-2}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

回归方程的显著性检验

如果${\beta }_1=0$，那么说明$E(y)$不随$x$变化，那么就没有线性关系。
$$H_0:{\beta }_1=0,H_1:{\beta }_1\ne 0$$
常用的检验方法有两种：
(1) t检验法：
$$T=\frac{{\hat{\beta }}_1\sqrt{s_{xx}}}{s}\sim t(n-2)$$
(2) F检验法：
$$F=\frac{{\hat{\beta }}_1^2{s}_{xx}}{s^2}\sim F(1,n-2)$$
用以进行${\beta }_1$的假设检验

回归系数的区间估计

枢轴量
$$T=\frac{{\hat{\beta }}_1-{\beta }_1}{s/\sqrt{s_{xx}}}\sim t(n-2)$$

预测

(1) $E(y_0)$的区间估计
$$\widehat{y_0}\sim N({\beta }_0+{\beta }_1{x}_0,(\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{s_{xx}}){\sigma }^2)$$
则
$$T=\frac{\widehat{y_0}-E(y_0)}{s\sqrt{\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{s_{xx}}}}\sim t(n-2)$$
可得出$E(y_0)$的置信区间

(2) $y_0$的预测区间
$$T=\frac{\widehat{y_0}-y_0}{s\sqrt{1+\frac{1}{n}+\frac{(x_0-\bar{x}{)}^2}{s_{xx}}}}\sim t(n-2)$$
可得出$y_0$的置信区间

回归诊断

因为回归有一定假设，接下来我们就要检验这些假设是否成立

模型线性假设的诊断

(1) 可以从变量之间的散点图看大致是否呈线性关系
(2) 可以从残差图发现大致是否呈线性关系，如果发现点的散布无规律，则说明线性假设是合适的

随机误差方差齐性的诊断

(1) 可以观察残差图，判断残差的方差是否随着$x$的变化而变化
(2) 如果存在变化，需要对$y$进行变化（取对数、取指数等等）

随机误差独立性地诊断

(1) 可以观察残差图，如果残差的符号改变非常频繁，或者残差图中残差符号出现“集团”的趋势，这说明独立性是不合适的
(2) 如果发现独立性假设不成立，需要修改模型，常用的方法是差分法

随机误差的正态性的诊断

(1) 采用卡方检验对残差进行正态性检验
(2) 如果发现不满足正态性，可以做Box-Cox变换