L1 正则化和L2正则化

正则化是指对模型做显式约束，以避免过拟合。

L1正则化：使某些系数刚好为 0。这说明某些特征被模型完全忽略。这可以看作是一种自动化的特征选择。某些系数刚好为 0，这样模型更容易解释，也可以呈现模型最重要的特征。

L2正则化：对系数（w）的选择不仅要在训练数据上得到好的预测结果，而且还要拟合附加
约束。我们还希望系数尽量小。换句话说，w 的所有元素都应接近于 0。直观上来看，这
意味着每个特征对输出的影响应尽可能小（即斜率很小），同时仍给出很好的预测结果。