【学习笔记】正则化

正如我们之前在《深入浅出的数据分析》中的笔记提到过的一样，一个回归模型兼具 解释功能和预测功能。

解释功能就是对当前的数据进行拟合，而预测功能则是对未出现的数据进行预测。

在一个神经网络模型中我们同样也可以设置我们的侧重点：

如果让模型具有更强的解释功能，我们就需要minimize(loss)，这里称为 经验风险最小化

如果让模型具有更强的预测功能，我们就要防止模型 过度拟合数据(过拟合)。这种称之为 结构风险最小化

根据奥卡姆剃刀定律，我们可以通过降低模型的复杂度来防止过拟合，这种原则称之为正则化

这里我们先按照书中介绍一种正则化，L2正则化：

L2正则化很容易理解，在我们的loss项中加上weights的平方和。原文中这里给出了例子：

假设我们有6个weights， w1=0.2 , w2=0.5 , w3=5 , w4=1 , w5=0.25 , w6=0.75

这里我们l2正则化需要在loss中加上的数值就是  0.2^2 + 0.5^2 + 5^2 + 1^2 +0.25^2 + 0.75^2 = 26.915

而正则化的结果我们还会乘以一个常数 lambda

lambda较大的话，整个weights分布更加偏向正态分布。

lambda较小的话，整个weights分布更偏向于平均分布。

lambda为0则 会取消正则化。

原文中并没有给出lambda的理想值，因为这个是根据数据而决定的，借助于tensorboard我们可以尝试不同的lambda值。

playground的练习请务必尝试一下。