跟李沐学AI--权重衰退

在利用深度学习进行训练的时候，可能会出现过拟合的现象。如下图：

        

为了尽可能多地使每个点都符合模型，模型会在某些区间变化很剧烈，表现在上图曲线上就是在这些区间的导数较大。也就是说，得到的模型的参数比较大（通常会比真实的参数更大）。为了避免这种情况发生，可以通过加入约束条件来限制模型参数的选择范围。比较常用的就是在损失函数中加入正则化模型来限制模型容量。

权重衰减（weight decay）是最⼴泛使⽤的正则化的技术之⼀，它通常也被称为L2正则化，其表达式如下：

这里加入的可以约束w的大小，越大，对w的约束越大。加入次约束条件后，随机梯度下降更新如下：

从上式中可以看到，在进行权重更新的过程中先将w降低再减去w的梯度，权重的选择范围变小。

手动实现权重衰退代码如下：

import torch
from torch import nn
from d2l import torch as d2l


# ******************************************** 生成数据集 *****************************************************************
n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
test_data = d2l.synthetic_data(true_w, true_b, n_test)
train_iter = d2l.load_array(train_data, batch_size)
test_iter = d2l.load_array(test_data, batch_size, is_train=False)


# ******************************************** 初始化模型 *****************************************************************
def init_params():
    w = torch.normal(0, 1, size=(num_inputs, 1), requires_grad=True)
    b = torch.zeros(1, requires_grad=True)
    return [w, b]


# ******************************************** 定义惩罚项 *****************************************************************
def l2_penalty(w):
    return torch.sum(w.pow(2)) / 2


# ******************************************* 训练 ***********************************************************************
def train(lambd):
    w, b = init_params()
    net, loss = lambda x: d2l.linreg(x, w, b), d2l.squared_loss
    num_epochs, lr = 100, 0.003
    animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log', xlim=[5, num_epochs], legend=['train', 'test'])

    for epoch in range(num_epochs):
        for x, y in train_iter:
            l = loss(net(x), y) + lambd * l2_penalty(w)  # 计算损失
            l.sum().backward() 
            d2l.sgd([w, b], lr, batch_size)
        if (epoch + 1) % 5 == 0:
            animator.add(epoch+1, (d2l.evaluate_loss(net, train_iter, loss), d2l.evaluate_loss(net, test_iter, loss)))
    print('w的L2范数是：', torch.norm(w).item())

    d2l.plt.show()


if __name__ == "__main__":
    train(lambd=0)  # 衰退系数为0，即不使用权重衰退
    train(lambd=3)  # 衰退系数为3

 运行结果如下：（上面的是lambd=0，下面的是lambd=3）

 

 简洁实现如下：

import torch
from torch import nn
from d2l import torch as d2l


def train_concise(wd):
    n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
    true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
    train_data = d2l.synthetic_data(true_w, true_b, n_train)
    test_data = d2l.synthetic_data(true_w, true_b, n_test)
    train_iter = d2l.load_array(train_data, batch_size)
    test_iter = d2l.load_array(test_data, batch_size, is_train=False)

    net = nn.Sequential(nn.Linear(num_inputs, 1))
    for param in net.parameters():
        param.data.normal_()
    loss = nn.MSELoss(reduction='none')
    num_epochs, lr = 100, 0.003
    # 这里偏置参数bias没有衰退
    trainer = torch.optim.SGD([
        {"params": net[0].weight, 'weight_decay': wd},
        {"params": net[0].bias}], lr=lr)
    animator = d2l.Animator(xlabel='epochs', ylabel='loss', yscale='log',
                            xlim=[5, num_epochs], legend=['train', 'test'])

    for epoch in range(num_epochs):
        for x, y in train_iter:
            trainer.zero_grad()
            l = loss(net(x), y)
            l.mean().backward()
            trainer.step()
        if (epoch + 1) % 5 == 0:
            animator.add(epoch + 1,
                        (d2l.evaluate_loss(net, train_iter, loss),
                         d2l.evaluate_loss(net, test_iter, loss)))
    print('w的L2范数是：', net[0].weight.norm().item())

    d2l.plt.show()


if __name__ == "__main__":
    train_concise(0)
    train_concise(3)