李沐笔记（权重衰退）

最新推荐文章于 2024-03-28 15:36:06 发布

qq_42310607

最新推荐文章于 2024-03-28 15:36:06 发布

阅读量666

点赞数

文章标签：过拟合权重衰减 L2正则化 PyTorch 模型训练

本文链接：https://blog.csdn.net/qq_42310607/article/details/121512784

版权

处理过拟合的一种方法：weight decay

如何控制模型容量：减小参数、减小每个参数值的范围

import torch
from torch import nn
from d2l import torch as d2l

# 生成数据
n_train, n_test, num_inputs, batch_size = 20, 100, 200, 5
true_w, true_b = torch.ones((num_inputs, 1)) * 0.01, 0.05
train_data = d2l.synthetic_data(true_w, true_b, n_train)
train_iter = d2l.load_array(train_data, batch_size)
test_data = d2l.synthetic_data(true_w,true_b,n_test)
test_iter =