Pytorch基础（八）——正则化

一、概念

正则化在深度学习领域是为了防止训练结果过拟合而采取的一种方法。

1.1 过拟合

过拟合表示模型的泛化能力较差，体现在实际训练模型上就是在训练集表现很好，但是在测试集的效果一般。
过拟合的原因：1，模型过于复杂。2，参数过多。
除了正则化可以降低过拟合现象，Dropout、early stopping和数据增强等方法也可以达到相似效果。

1.2 正则化（regularization）

正则化可以分为L1正则化、L2正则化，就是在损失函数中加上正则化项，对模型添加惩罚项，会减小模型的参数数值。
L1正则化：
L2正则化：

二、Pytorch示例

pytorch中L2正则化的使用在优化器中的weight_decay（权值衰减）参数设置，这里以SGD优化器为例。根据官网，weight_decay是对所有参数进行正则化。

# weight_decay
optim = torch.optim.SGD(wzh.parameters(), lr=0.01, weight_decay=0.01)

for epoch in range(100):
    running_loss = 0.0
    for data in dataloader:
        imgs, targets = data
        outputs = wzh(imgs)
        result = loss(outputs, targets)
        optim.zero_grad()
        result.backward()
        optim.step()
        running_loss = running_loss + result
    print(running_loss)

L1正则化需要自己定义函数。

三、参考文章

总结-深度学习中的正则化方法（regularization）
权重衰减（weight decay）与学习率衰减（learning rate decay）