回归

回归诊断

线性回归基本假设

1. 对模型设定的假定，回归模型是正确的
2. 误差项的假定
   误差项$\epsilon$服从均值为0，方差为${\sigma }^2$的正态分布
   误差项之间不存在序列相关（差分法）
3. 解释变量的假定
   解释变量是确定性变量，解释变量与随机误差误差项$\epsilon$之间不存在相关性（工具变量法）
   解释变量之间不存在多重共线性

模型假定错误

诊断

1. 散点图

处理

1. 非线性回归（多项式回归、指数型）

多重共线性

出现的问题

1. OLS无解，$(X^{T}X{)}^{-1}$不存在
2. 参数估计的MSE变大，$var(\hat{\beta }|X)={\hat{\sigma }}^2(X^{T}X{)}^{-1}$
3. 系数估计符号与常识不符合，定性分析与定量分析不一致
4. 重要变量不显著
   原假设：${\beta }_i=0$
   $$t=\frac{\widehat{{\beta }_i}}{s{e}_{\widehat{{\beta }_i}}}=\frac{\widehat{{\beta }_i}}{\sqrt{{\hat{\sigma }}^2(X^{T}X{)}^{-1}}}$$
   分母变大，t值减小，倾向于不拒绝原假设。
5. 参数含义不明确，$x_1,x_2,x_3$多重共线性，$x_2,x_3$固定，$x_1$不变
6. OLS估计对数据的微小变化很敏感

诊断

1. 相关系数矩阵
2. 直观诊断（基于出现的问题），R方很大，但是多个t较小，结果导向
3. 经验诊断，基于$X^{T}X$的特征值的差距
4. 方差扩大因子（$VIF=\frac{1}{1-R_j^2}$）：新加变量$X_j$对方差的影响，考虑解释变量对其他变量的回归的复相关系数$R_j^2$

处理：

1. 增加样本量
2. 岭回归、偏最小二乘法

岭回归

1. $\beta =(X^{T}X+\lambda I{)}^{-1}{X}^{T}Y$，增加$\lambda 限制，\beta$会收缩，也就是下面的式子。
2. min $RSS=||Y-X\beta ||+\lambda {\sum }_{i=1}^p{\beta }_i^2$

异方差

原因：
出现的问题：

1. 普通最小二乘估计值虽然是无偏的，但不再是最小方差线性无偏估计，不再有效。
2. 参数的显著性检验失效，异方差性会高估回归系数的t值检验，可能造成本来不显著的某些回归系数变得显著。
3. 模型应用效果极不理想，模型的区间预测包含参数方差的估计量，异方差会增加参数的方差，导致估计区间和预测区间扩大，精度下降，因而失效。

诊断
4. 画图分析法（y与x，e与x）
5. 等级相关系数法：
$$\rho =\frac{{\sum }_{i=1}^n(r_i-\bar{r})(s_i-\bar{s})}{\sqrt{{\sum }_{i=1}^n(r_i-\bar{r}){\sum }_{i=1}^n(s_i-\bar{s})}}$$
原假设（$H_0$）：x与e不相关，即等级相关系数=0
检验统计量$$t=\frac{\sqrt{n-2}{\rho }_{rs}}{\sqrt{1-{\rho }_{rs}^2}}\sim t(n-2)$$
处理

1. GLS(加权线性回归)
   $$w^{1/2}Y=w^{1/2}X\beta +w^{1/2}e$$
   其中，$w^{1/2}{w}^{1/2}=\Sigma$

正态性

QQ图、频数分布图(${\chi }^2$检验)