正则化

正则化：

作用：选择经验损失(风险)函数和模型复杂度都小的模型(模型复杂可能过拟合，缓解过拟合)

一般形式：

经验损失函数+正则化项，λ大于等于0用于调整二者之间的关系

在经验损失函数小时（经验损失大小取决于于训练误差，模型很好的拟合了训练数据），模型可能很复杂(有多个非零系数)，这时正则化项的复杂度(值)会变大。

 

 

 

正则化项一般使用Lp范数，一般使用模型参数（线性回归中x的系数）的L1范数和L2范数

正则化项的引入会