弹性网络
我们前面学习了岭回归和Lasso回归,其中岭回归通过添加系数惩罚项,减小了系数之间的关联性,Lasso回归可以解决稀疏矩阵的情况。
弹性网络综合了岭回归和lasso回归的优势,可以拟合稀疏矩阵也保持了岭回归的正则性质。它使用使用 L1, L2 范数作为先验正则项训练的线性回归模型。 在面对特征之间相关性较高的情况时,弹性网络表现良好。Lasso 很可能只随机考虑这些特征中的一个,而弹性网络更倾向于选择两个。
最小化的目标函数是:
m i n w 1 2 n s a m p l e s ∣ ∣ X w − y ∣ ∣ 2 2 + α ρ ∣ ∣ w ∣ ∣ 1 + α ( 1 − ρ ) 2 ∣ ∣ w ∣ ∣ 2 2 \underset{w}{min\,} { \frac{1}{2n_{samples}} ||X w - y||_2 ^ 2 + \alpha \rho ||w||_1 +\frac{\alpha(1-\rho)}{2} ||w||_2 ^ 2} wmin