正则化定义和类别

正则化定义和类别

什么是正则化：
	在解决回归过拟合中，我们选择正则化，但对于其他机器学习算法如分类算法来说也会出现这种问题，数据提供的特征有那些影响模型复杂度或者这个特征的数据点异常比较多，所以算法在学习的时候尽量减少这个特征的影响，就是正则化

L2正则化：

作用可以使其中一些W的都很小都接近于0，削落某个特征的影响

优点：越小的参数水明越简单越简单的模型与不容易产生过拟合

RIdge回归：

L1正则化

作用：可以使的其中的一些W为0，删除这个特征影响。

Lasso回归

岭回归是在结构风险最小化的正则化因子上使用模型参数向量的二范数形式。那么，如果使用一范数形式，那就是lasso回归了。lasso回归相比于岭回归，会比较极端。它不仅可以解决过拟合问题，而且可以在参数缩减过程中，将一些重复的没必要的参数直接缩减为零，也就是完全减掉了。这可以达到提取有用特征的作用。但是lasso回归的计算过程复杂，毕竟一范数不是连续可导的。关于lasso回归相关的研究是目前比较热门的领域。