1.为什么要权值衰减
首先我们了解一下过拟合和欠拟合
过拟合——是指学习时选择的模型所包含的参数过多,以至于出现这一模
型对已知数据预测的很好,但对未知数据预测得很差的现象。这种情况下
模型可能只是记住了训练集数据,而不是学习到了数据特征。
欠拟合——模型描述能力太弱,以至于不能很好地学习到数据中的规律。
产生欠拟合的原因通常是模型过于简单。
2.应对过拟合
最优方案——获取更多的训练数据
次优方案——调节模型允许存储的信息量或者对模型允许存储的信息加以
约束,该类方法也称为正则化。
—调节模型大小
—约束模型权重,即权值衰减即权重正则化(常用的有L1、L2正则化)
import matplotlib.pyplot as plt
import torch
t_w = torch.ones((200,1)) * 0.01
t_b = 0.05
features = torch.randn(120, len(t_w))
labels = torch.mm(features, t_w) + t_b
labels += torch.normal(0, 0.01, labels.shape)
train_x,test_x = features[0:21,:], features[21:120,:]
train_y,test_y = labels[0:21], labels[21:120]
w=torch.normal(0,0.01,size=(200,1),requires_grad=True)
b=torch.zeros(1,requires_grad=True)
lr=0.003
lamd = 0
def Loss(y_hat,y,lamd,w):
return (y_hat-y)**2/2/len(y)+lamd*(w**2).sum()/2
def linear(x,w,b):
return torch.mm(x,w)+b
def sgd(params,lr):
with torch.no_grad():
for param in params:
param -= lr*param.grad
param.grad.zero_()
for epoch in range(100):
train_l=Loss(linear(train_x,w,b),train_y,lamd,w).sum()
train_l.backward()
sgd([w,b],lr)
test_l = Loss(linear(test_x,w,b),test_y,lamd,w).sum()
plt.plot(epoch, train_l.detach().numpy(),'r+')
plt.plot(epoch, test_l.detach().numpy(),'b+')
plt.show()
无权值衰减时
将上述代码中lamd改为3时
L2正则损失对于大数值的权值向量进行严厉惩罚,鼓励更加分散的权重向量,
使模型倾向于使用所有输入特征做决策,此时的模型泛化性能好
权值衰减解释:
如果我们假设一个模型的训练集的损失函数为0,此时对应的 w=[1,0,0,0],然而W1=[0.25,0.25,0.25,0.25]在该训练集模型上误差为0,那么我们对于权值的选择具有多可能性,但是加了L2正则化,为了具有更好的泛化能力,我们会倾向于选择分散的权值。