岭回归和套索回归

岭回归
优点：有显式的解
缺点：对于影响很小的因子的值不能趋近到0

Lasso回归
优点：可以将影响很小的因子的值减到0，更加便于筛选
缺点：没有真实的解，只能逼近和估计解

Stata的使用
在 Stata 中，我们可以安装 lassopack 命令来实现 Lasso 回归，Lassopack 包含三个与 Lasso 相关的子命令（输入 help lassopack 可以查看详情）： ‐ 子命令 lasso2 可进行 Lasso 估 计； ‐ 子命令 cvlasso 可进行 K 折交叉验证（k‐fold cross validation）； ‐ 子命令 rlasso 可以估计惩罚项由数据决定或者高维情形（变量维度超过样本数）

K 折交叉验证
我们使用 K 折交叉验证的方法来选择最佳的调整参数。

所谓的 K 折交叉验证，是说将样本数据随机分为 K 个等分。将第 1 个子样本作为 “验证集”（validation set）而保留不用，而使用其余 K-1 个子样本作为 “训练集”（training set）来估计此模型，再以此预测第 1 个子样本，并计算第1个子样本的 “均方预测误差”（Mean Squared Prediction Error）。

其次，将第 2 个子样本作为验证集，而使用其余 K-1 个子样本作为训练集来预测第2个子样本，并计算第 2 个子样本的 MSPE。

以此类推，将所有子样本的 MSPE 加总，即可得整个样本的 MSPE。最后，选择调整参数 ，使得整个样本的 MSPE 最小，故具有最佳的预测能力