正则化方法

正则化的目的：防止过拟合
正则化中我们将保留所有的特征变量，但是会减小特征变量的数量级（参数数值大小）
L1正则化和L2正则化：可以看做是损失函数的惩罚项。所谓惩罚就是对于损失函数中的某些参数做一些限制。
L1正则化的模板叫LASSO回归 LASSO（套索算法）
L2正则化的模板叫做Ridge回归（岭回归）
L1正则化是指权值向量W中各个元素的绝对值之和（相当于1范数)
L2正则化是指权值向量W中的各个元素的平方和再求平方根（相当于求2范数）
L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
L2正则化可以防止模型过拟合，一定程度上，L1也可以防止过拟合