1.1.5. Elastic-Net （弹性网络）与 1.1.6. Multi-task Elastic-Net（多任务弹性网络）

1.1.5. Elastic-Net

相对于之前的几章，弹性网络显得相对简单的多。不过借着弹性网络，我正好了解了一下机器学习算法里很常见的“对偶的概念”。

一、简介

我们知道Ridge和Lasso是有弊端的：

• Ridge虽然很稳定，但是因为对参数（特征）没有进行筛选，所以样本一大，特征一多，模型复杂度就直线上升
• Lasso依靠嵌入式特征选择，拥有相当优秀的抗过拟合的能力。不过也是因为它的稀疏性，它不太稳定。毕竟特征一少，遇到样本远多于特征的情况时，模型很容易就崩了

所以，遇到这样的问题，我们和容易想到将Ridge和Lasso，即带有$l_1$和$l_2$范数的模型，做一个结合。

我们可以看出，弹性网络不仅具备Lasso的稀疏性，也同时具备Ridge的稳定性，效果十分突出。

二、目标函数

min ⁡ w 1 2 n s a m p l e ∥ X w − y ∥ 2 2 + α ρ ∥ ω ∥ 1 + α ( 1 − ρ ) 2 ∥ ω ∥ 2 \min\limits_{w} \frac{1}{2n_{sample}}\parallel\mathit{Xw} -\mathit{y}