机器学习-06 基于sklearn 广义线性模型- 弹性网络

弹性网络

我们前面学习了岭回归和Lasso回归，其中岭回归通过添加系数惩罚项，减小了系数之间的关联性，Lasso回归可以解决稀疏矩阵的情况。
弹性网络综合了岭回归和lasso回归的优势，可以拟合稀疏矩阵也保持了岭回归的正则性质。它使用使用 L1， L2 范数作为先验正则项训练的线性回归模型。 在面对特征之间相关性较高的情况时，弹性网络表现良好。Lasso 很可能只随机考虑这些特征中的一个，而弹性网络更倾向于选择两个。
最小化的目标函数是：
m i n   w 1 2 n s a m p l e s ∣ ∣ X w − y ∣ ∣ 2 2 + α ρ ∣ ∣ w ∣ ∣ 1 + α ( 1 − ρ ) 2 ∣ ∣ w ∣ ∣ 2 2 \underset{w}{min\,} { \frac{1}{2n_{samples}} ||X w - y||_2 ^ 2 + \alpha \rho ||w||_1 +\frac{\alpha(1-\rho)}{2} ||w||_2 ^ 2} wmin​