改善过拟合——权重衰减

解决过拟合问题的方法之一是权重衰减

方法

权重衰减等价于L₂范数正则化（regularization）。
正则化通过为模型损失函数添加惩罚项使训练出的模型参数值较小，是应对过拟合的常用手段。
以线性回归为例，介绍什么是L₂范数正则化

L₂范数正则化

L₂范数正则化在模型原损失函数基础上添加L₂范数惩罚项，从而得到训练所需要最小化的函数。L₂范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积，设原损失函数为$loss(\omega ,b)$，则带有L₂范数惩罚项的新损失函数为
n e w l o s s ( ω , b ) = l o s s ( ω , b ) + λ 2 n ∥ ω