Scikit-learn_正则化

一.描述

在解决回归过拟合中，我们选择正则化。但是对于其他机器学习算法如分类算法来说也会出现这样的问题，除了一些算法本身作用之外（决策树、神经网络），我们更多的也是去自己做特征选择，包括之前说的删除、合并一些特征

如何解决？

在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据点异常较多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除某个特征的影响），这就是正则化

注：调整时候，算法并不知道某个特征影响，而是去调整参数得出优化的结果

3.2 正则化类别

• L2正则化
  • 作用：可以使得其中W的变小，其中很小的w值会趋近于0，削弱某些特征的影响
  • 优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象
  • Ridge回归: from sklearn.linear_model import Ridge
• L1正则化
  • 作用：可以使得其中一些特征W的值直接为0，删除这些特征的影响
  • LASSO回归: from sklearn.linear_model import Lasso