权值衰减—高维线性回归举例

1.为什么要权值衰减

首先我们了解一下过拟合和欠拟合

过拟合——是指学习时选择的模型所包含的参数过多，以至于出现这一模
型对已知数据预测的很好，但对未知数据预测得很差的现象。这种情况下
模型可能只是记住了训练集数据，而不是学习到了数据特征。

欠拟合——模型描述能力太弱，以至于不能很好地学习到数据中的规律。
产生欠拟合的原因通常是模型过于简单。

2.应对过拟合

最优方案——获取更多的训练数据

次优方案——调节模型允许存储的信息量或者对模型允许存储的信息加以
约束，该类方法也称为正则化。
—调节模型大小
—约束模型权重，即权值衰减即权重正则化（常用的有L1、L2正则化）

import matplotlib.pyplot as plt
import torch

t_w = torch.ones((200,1)) * 0.01
t_b = 0.05

features = torch.randn(120, len(t_w))
labels = torch.mm(features, t_w) + t_b
labels += torch.normal(0, 0.01, labels.shape)

train_x,test_x = features[0:21,:], features[21:120,:]
train_y,test_y = labels[0:21], labels[21:120]
w=torch.normal(0,0.01,size=(200,1),requires_grad=True)
b=torch.zeros(1,requires_grad=True)
lr=0.003
lamd = 0

def Loss(y_hat,y,lamd,w):
    return (y_hat-y)**2/2/len(y)+lamd*(w**2).sum()/2

def linear(x,w,b):
    return torch.mm(x,w)+b

def sgd(params,lr):
    with torch.no_grad():
        for param in params:
            param -= lr*param.grad
            param.grad.zero_()

for epoch in range(100):
    train_l=Loss(linear(train_x,w,b),train_y,lamd,w).sum()
    train_l.backward()
    sgd([w,b],lr)
    test_l = Loss(linear(test_x,w,b),test_y,lamd,w).sum()
    plt.plot(epoch, train_l.detach().numpy(),'r+')
    plt.plot(epoch, test_l.detach().numpy(),'b+')
plt.show()

无权值衰减时

将上述代码中lamd改为3时

L2正则损失对于大数值的权值向量进行严厉惩罚，鼓励更加分散的权重向量，
使模型倾向于使用所有输入特征做决策，此时的模型泛化性能好

权值衰减解释：
如果我们假设一个模型的训练集的损失函数为0，此时对应的 w=[1,0,0,0]，然而W1=[0.25,0.25,0.25,0.25]在该训练集模型上误差为0，那么我们对于权值的选择具有多可能性，但是加了L2正则化，为了具有更好的泛化能力，我们会倾向于选择分散的权值。