正则项学习笔记

目录

1. L2 正则化 岭回归

1.1 L2 norm计算例子

2. L1 正则化

3. 弹性网正则化

4. Dropout

---

1. L2 正则化 岭回归

在 PyTorch 中，L2 正则化通常通过设置优化器的 weight_decay 参数实现。以下是一个简单的例子：

介绍博文：

正则化(1)：通俗易懂的岭回归

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的模型
class Model(nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, 2)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.fc2(x)
        return x

# 创建模型和数据
model = Model()
inputs = torch.randn(1, 10)
targets = torch.tensor([1, 0], dtype=torch.float32)

# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=1e-5)  # L2 正则化

# 训练模型
optimizer.zero_grad()
outputs = model(inputs)
loss = criterion(outputs, targets)
loss.backward()
optimizer.step()

1.1 L2 norm计算例子

import numpy as np

# 假设一些模型权重
weights = np.array([1.5, -2.3, 0.7, -0.9])

# 计算 L2 范数（即所有权重平方的平方根）
l2_norm = np.sqrt(np.sum(np.square(weights)))

# 计算 L2 正则化项，这里使用一个正则化参数 lambda
lambda_param = 0.01
l2_regularization = lambda_param * 0.5 * np.sum(np.square(weights))

print("L2 Norm of weights:", l2_norm)
print("L2 Regularization term:", l2_regularization)

2. L1 正则化

在 PyTorch 中，实现 L1 正则化需要自定义损失函数，包括权重的 L1 范数：

# 计算 L1 正则化损失
def l1_penalty(model):
    l1_norm = sum(p.abs().sum() for p in model.parameters())
    return l1_norm

# 添加 L1 正则化到总损失
lambda1 = 0.01
l1_loss = l1_penalty(model)
total_loss = loss + lambda1 * l1_loss

3. 弹性网正则化

弹性网正则化结合了 L1 和 L2 正则化：

lambda1 = 0.01
lambda2 = 0.01

l1_loss = l1_penalty(model)
l2_loss = sum(p.pow(2.0).sum() for p in model.parameters())

elastic_net_loss = lambda1 * l1_loss + lambda2 * l2_loss
total_loss = loss + elastic_net_loss

4. Dropout

Dropout 是一种在训练过程中随机丢弃网络中一部分神经元的方法：

class DropoutModel(nn.Module):
    def __init__(self):
        super(DropoutModel, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.dropout = nn.Dropout(0.2)
        self.fc2 = nn.Linear(5, 2)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)
        x = self.fc2(x)
        return x

# 使用 DropoutModel 替代原始模型
model = DropoutModel()