python回归模型 变量筛选_多元线性回归变量筛选

目录##

变量筛选方法

预测与回归诊断

其他统计量

SAS中Weight和Freq的区别

Refreence

1. 变量筛选方法

全回归模型 (None)

向前发(Forward) -- 逐步引入法

向后发(Backward) --逐步剔除法

逐步筛选法 (Stepwise)

最大Rsquare增量法(Maxr)

最小Rsquare增量法(Minr)

Rsquare选择法(Rsquare)

修正Rsquare选择法(Adjrsq)

Mallow的\( C_p \)选择法(CP)

\(C_p\)衡量回归模型的拟合效果(fittness)，值越小，表示模型越精确

\(\hat\sigma\) 代表预测的响应变量方差， d 代表预测变量的个数\(X_1,..,X_d\)

$$ C_p = \frac{1}{n}(RSS + 2d\hat\sigma^2) $$

2. 预测与回归诊断##

2.1. 杠杆率： 刻画第i个观测点距离中心的远近 (\( x_ i\) 为设计矩阵X的第i行)

$$ h _ i = x _ i (X'X)^{-1} x'_i $$

2.2. CookD统计量 (影响诊断统计量)

探查对回归估计或预测具有很大影响的观测点，即强影响点。其中：b(i)是删掉第i个观测后，从余下的n-1个观测得出的参数\( \beta \)的最小二乘估计， k是模型中参数的个数，\( t_i\) 是学生化残差

$$ CookD = \frac{(b(i) - b)(X'X)(b(i)-b) }{s^2k