L1和L2正则化在pytorch中的应用

最近在自己改写网络的过程中，发现了很多的问题，有一个比较大的问题就是过拟合问题，过拟合问题不仅出现在小数据量的训练中，在大数据量的训练中也有着同样的问题，今天测试了L1和L2正则化，效果还在实验中，如果效果比较好会在后面做及时的更新。

L1正则化：

L1 正则化公式也很简单，直接在原来的损失函数基础上加上权重参数的绝对值：

上式可知，当w大于0时，更新的参数w变小；当w小于0时，更新的参数w变大；所以，L1正则化容易使参数变为0，即特征稀疏化。

L2正则化：

由上式可知，正则化的更新参数相比于未含正则项的更新参数多了

项，当w趋向于0时，参数减小的非常缓慢，因此L2正则化使参数减小到很小的范围，但不为0。

 

在pytorch中没有明确的添加L1和L2正则化的方法，但是可以直接的采用优化器自带的weight_decay选项来制订权重衰减，相当于L2正则化中的λ，

optimizer = torch.optim.Adam(model.parameters(), lr=1e-4, weight_decay=1e-5)

上面这是Adam优化器的一种达到L2正则化效果的一种方式。pytorch中还有很多这样的优化器，如SGD，Adadelta，Adam，Adagrad，RMSprop等，使用它很简单，你需要传入一个可迭代的参数列表（里面必须都是Variable类型的）进行优化，然后你可以指定一些优化器的参数，如学习率，动量，权值衰减等。

 

参考：

• https://discuss.pytorch.org/t/how-does-one-implement-weight-regularization-l1-or-l2-manually-without-optimum/7951。
• http://pytorch.org/docs/master/torch.html?highlight=norm#torch.norm。