向前选择
向前选择是先假设除截距项外,模型中不存在回归变量.通过一次向模型中添加一个回归变量,来求解最优的回归变量子集.
step1
将所有回归变量分别与Y做线性拟合,并求模型所产生的回归显著性F统计量,找出其中最大的F统计量,如果这个统计量大于事先给定的F值,则其所对应的回归变量就是第一部所选中的变量.为标记方便,不如记这个回归变量为 x 1 x_1 x1.
step2
在调整了第一个进入模型的回归变量对Y的影响后,现在与Y的简单相关系数为最大的回归变量则为第二步所选择的变量,其中,这个简单相关系数称为偏相关系数.
偏相关系数:回归 y ^ = β ^ 0 + β ^ 1 x 1 \hat y=\hat β_0 +\hat β_1 x_1 y^=β^0+β^1x1的残差,与 x ^ j = α ^ 0 j + α ^ 1 j x 1 \hat x_j=\hat α_{0j }+\hat α_{1j} x_1 x^j=α^0j