动手学深度学习：3.12 权重衰减

最新推荐文章于 2022-09-17 22:45:01 发布

AI_Younger_Man

最新推荐文章于 2022-09-17 22:45:01 发布

阅读量344

点赞数

分类专栏： # 深度学习

本文链接：https://blog.csdn.net/qq_38888209/article/details/107666740

版权

本文探讨了过拟合现象及其解决方案——权重衰减。权重衰减通过约束模型权重的大小来防止过拟合，等价于L2正则化。在训练数据有限的情况下，权重衰减显得尤为重要。

摘要由CSDN通过智能技术生成

3.12 权重衰减

上一节中我们观察了过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。本节介绍应对过拟合问题的常用方法：权重衰减（weight decay）。

3.12.1 方法

权重衰减等价于 $L_2$ $p = 200$ ；同时，我们特意把训练数据集的样本数设低，如20。

%matplotlib inline
import torch
import torch.nn as nn
import numpy as np
import sys
sys.path.append("..") 
import d2lzh_pytorch as d2l

n_train, n_test, num_inputs = 20, 100, 200
true_w, true_b = torch.ones(num_inputs, 1) * 0.01, 0.05

features = torch.randn((n_train + n_test, num_inputs))
labels = torch.matmul(features, true_w) + true_b
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()), dtype=torch.float)
train_features, test_features = features[:n_train, :], features[n_train:, :]
train_labels, test_labels = labels[:n_train], labels[n_train:]Copy to clipboardErrorCopied