深度学习——权重衰退L2正则化（笔记）

一 权重衰退—L2正则化：抵消过拟合的方法。防止损失函数最优导致过拟合，把损失函数最优点拉一拉。

1使用均方范数作为硬性限制

①通过限制参数值的范围控制模型容量

在优化loss的时候上限制。因为如果训练数据差异过大，w的差异也很大。来限制w，也就限制了过拟合。

② 通常不限制偏移

③ 小的 θ意味着更强的正则项

[控制权重矩阵范围的值，可以减少一些特征的权重，甚至一些特征权重为0，这样模型会变得简单，减轻过拟合]

2.使用均方范数作为柔性限制【罚】

①对于每个θ可以找到λ使目标损失函数等价于：

 

②λ控制正则项的重要程度

λ=0，无作用，也就是θ无穷大。

增加λ-> ∞,损失函数大，w*->0。

可以控制模型复杂度低。

 3.演示一个最优解【没有看懂】

 

 

绿色:损失函数取值范围，圈越大，值越大

黄色：惩罚项的取值范围，圈越大，值越大。

绿色中心点的梯度接近于0，黄色函数梯度更高，参数更新时往黄色函数方向更新。

模型复杂程度变低了。

4.参数更新法则

①计算梯度

 ②带入参数更新的原公式：

③ηλ<1 ，深度学习中称为权重衰退。

 

【总结】

①权重衰退通过L2正则项使得模型参数不会太大，控制模型复杂程度。

②正则项权重是控制模型复杂度的超参数。