正则化的概念

正则化（Regularization）：是机器学习中用于减少泛化误差（测试误差），从而缓解过度拟合的设计策略。当使用正则化策略减少泛化误差时，可能会增大训练误差。

针对线性回归模型，假设对其代价函数里加入正则化项，其中L1和L2正则化项的表示分别如下所示，其中λ >= 0，是用来平衡正则化项和经验风险的系数。

优点：减少泛化误差，减少过拟合

缺点：增大训练误差

基本名词

L1-norm ：(L1范数)

L2-norm：(L2范数)

L1-regularization 和 L2-regularization ：正则项

norm：一个向量的 norm 就是将该向量投影到 [0, ∞​) 范围内的值，其中 0 值只有零向量的 norm 取到。将其与现实中距离进行类比，在机器学习中 norm 也就总被拿来表示距离关系：根据范数取值多大，这两个向量距离多远。这里范数的取值就是范数的种类，即Lp-norm：

当p=1时，被称为1-norm，也就是L1-norm，

当p=2时，被称为2-norm，也就是L2-norm。

L1 范数 和 L2 范数在机器学习上最主要的应用大概分下面两类：

（1）作为损失函数使用

（2）作为正则项使用也即所谓 L1-regularization 和 L2-regularization

最小化损失函数，其实就是最小化预测值和目标值的绝对值。

L1-norm损失函数，又称为最小绝对偏差 (least absolute deviation,LAD)。：特征选择

LAD：预测值与真实值之间的绝对值

优点：鲁棒性更强，对异常值更不敏感

正则化方式：减小模型参数，尽管都能简化模型

假定参数符合拉普拉斯分布

模型也被叫作Lasso回归

L2-norm损失函数，又称为最小二乘误差（least squares error, LSE）：抗过拟合的能力更好一点

优点：

• 计算方便，可以直接求导获得取最小值时各个参数的取值。
• 用L2一定只有一条最好的预测线

正则化方式：产生稀疏解，实际上是减少特征数量。

假定参数符合高斯分布。

模型也被叫作Ridge回归

逻辑回归需要做正则化吗？

逻辑回归模型的输出是经过softmax的概率值，概率值的排序不受归一化的影响。从另一个角度来看，softmax其实也就实现了归一化的目的。
逻辑回归模型的参数优化一般采用了梯度下降法，如果不对特征进行归一化，可能会使得损失函数值得等高线呈椭球形，这样花费更多的迭代步数才能到达最优解。
逻辑回归模型的损失函数可以加入正则项，那么参数的大小便决定了损失函数值，特征就有必要先进行归一化。

在逻辑回归模型中，归一化还是有必要的，尤其是在正则化和梯度下降中所起到的作用。

参考链接：                           
https://blog.csdn.net/w__Y__w/article/details/121792038

【机器学习基础】一文搞懂机器学习里的L1与L2正则化-腾讯云开发者社区-腾讯云

逻辑回归+正则化 - 知乎：python