PyTorch学习笔记-6.PyTorch的正则化

6.PyTorch的正则化

6.1.正则项

为了减小过拟合，通常可以添加正则项，常见的正则项有L1正则项和L2正则项

L1正则化目标函数：

L2正则化目标函数：

PyTorch中添加L2正则：PyTorch的优化器中自带一个参数weight_decay，用于指定权值衰减率，相当于L2正则化中的λ参数。

权值未衰减的更新公式：

权值衰减的更新公式：

下面，分别通过不添加L2正则与添加L2正则进行比较：

代码实现：

# -*- coding:utf-8 -*-
import torch
import numpy as np
import random
import torch.nn as nn
import matplotlib.pyplot as plt
from torch.utils.tensorboard import SummaryWriter

def set_seed(seed=1):
    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)

set_seed(1)  # 设置随机种子

# 隐藏层神经单元数量
n_hidden = 200
# 迭代次数
max_iter = 2000
# 每200轮进行一次绘图
disp_interval = 200
# 学习率
lr_init = 0.01

# 1.准备数据
def get_data(num_data=10, x_range=(-1, 1)):

    # 定义权重
    w = 1.5
    # 定义训练集的x
    # *x_range表示将参数名为x_range的内容打散，即生成-1到1的10个数并扩展维度
    train_x = torch.linspace(*x_range, num_data).unsqueeze_(1)
    # 定义训练集的y，为w*x+正太分布的随机数
    train_y = w*train_x + torch.normal(0, 0.5, size=train_x.size())
    # 生成测试集
    test_x = torch.linspace(*x_range, num_data).unsqueeze_(1)
    test_y = w*test_x + torch.normal(0, 0.3, size=test_x.size())

    return train_x, train_y, test_x, test_y

train_x, train_y, test_x, test_y = get_data(x_range=(-1, 1))

# 2.创建模型
class MLP(nn.Module):
    def __init__(self, neural_num):
        super(MLP, self).__init__()
        # 利用容器构建模型
        self.linears = nn.Sequential(
            # 创建线性层和激活函数
            nn.Linear(1, neural_num),
            nn.ReLU(inplace=True),
            nn.Linear(neural_num, neural_num),
            nn.ReLU(inplace=True),
            nn.Linear(neural_num, neural_num),
            nn.ReLU(inplace=True),
            nn.Linear(neural_num, 1),
        )

    def forward(self, x):
        return self.linears(x)

# 创建两个模型，第一个不添加L2正则，第二个添加L2正则
net_normal = MLP(neural_num=n_hidden)
net_weight_decay = MLP(neural_num=n_hidden)

# 3.创建优化器
optim_normal = torch.optim.SGD(net_normal.parameters(), lr=lr_init, momentum=0.9)
optim_wdecay = torch.optim.SGD(net_weight_decay.parameters(), lr=lr_init, momentum=0.9, weight_decay=1e-2)

# 4.定义损失函数
loss_func = torch.nn.MSELoss()

# 5.开始训练
# 定义tensorboard的输出路径
writer = SummaryWriter(comment='_test_tensorboard', filename_suffix="12345678")
for epoch in range(max_iter):

    # 分别用两个模型对训练集训练，得到预测结果
    pred_normal, pred_wdecay = net_normal(train_x), net_weight_decay(train_x)
    # 分别获得损失
    loss_normal, loss_wdecay = loss_func(pred_normal, train_y), loss_func(pred_wdecay, train_y)

    # 反向传播
    loss_normal.backward()
    loss_wdecay.backward()

    # 执行优化
    optim_normal.step()
    optim_wdecay.step()

    # 清空梯度
    optim_normal.zero_grad()
    optim_wdecay.zero_grad()

    #可视化和绘图
    if (epoch+1) % disp_interval == 0:

        # 可视化
        for name, layer in net_normal.named_parameters():
            # 绘制直方图，分别添加tag，value值，global_step即y轴
            writer.add_histogram(name + '_grad_normal', layer.grad, epoch)
            writer.add_histogram(name + '_data_normal', layer, epoch)

        for name, layer in net_weight_decay.named_parameters():
            writer.add_histogram(name + '_grad_weight_decay', layer.grad, epoch)
            writer.add_histogram(name + '_data_weight_decay', layer, epoch)

        # 利用模型对测试集测试并得到预测结果
        test_pred_normal, test_pred_wdecay = net_normal(test_x), net_weight_decay(test_x)

        # 绘图
        plt.scatter(train_x.data.numpy(), train_y.data.numpy(), c='blue', s=50, alpha=0.3, label='train')
        plt.scatter(test_x.data.numpy(), test_y.data.numpy(), c='red', s=50, alpha=0.3, label='test')
        plt.plot(test_x.data.numpy(), test_pred_normal.data.numpy(), 'r-', lw=3, label='no weight decay')
        plt.plot(test_x.data.numpy(), test_pred_wdecay.data.numpy(), 'b--', lw=3, label='weight decay')
        plt.text(-0.25, -1.5, 'no weight decay loss={:.6f}'.format(loss_normal.item()), fontdict={ 'size': 15, 'color': 'red'})
        plt.text(-0.25, -2, 'weight decay loss={:.6f}'.format(loss_wdecay.item()), fontdict={ 'size': 15, 'color': 'red'})

        plt.ylim((-2.5, 2.5))
        plt.legend(loc='upper left')
        plt.title("Epoch: {}".format(epoch+1))
        plt.show()
        plt.close()

 

plt绘制图：