2021-07-11

生成数据，拟合检测，欠拟合，过拟合

---

一、生成数据

先使用numpy生成数据，再装换成tensor

#生成数据
max_degree=20
n_train,n_test=100,100
ture_w=np.zeros(max_degree)
ture_w[:4]=np.array([5,1.2,-3.4,5.6])

feature=np.random.normal(size=(n_test+n_train,1))#（100+100，1）的数据
np.random.shuffle(feature)#打乱
poly_feature=np.power(feature,np.arange(max_degree).reshape(1,-1))#按阶成方，前面为（200，1）后面为（1，20）
for i in range(max_degree):
    poly_feature[:,i]/=math.gamma(i+1)#除以阶乘
label=np.dot(poly_feature,ture_w)#按顺序乘以系数
label+=np.random.normal(scale=0.1,size=(label.shape))#噪声

2.装换成tensor

# 转换成tensor:
ture_w,feature,poly_feature,label=[
    torch.tensor(x,dtype=torch.float32) for x in [ture_w,feature,poly_feature,label]
]

3、损失计算

#给出损失
def evaluate_loss(net,data_iter,loss):#给定一个net,一个迭代器，一个损失函数
    matic=d2l.Accumulator(2)#返回的参数，累计loss,累计个数

    for X,y in data_iter:
        out=net(X)
        y=y.reshape(out.shape)
        l=loss(out,y)#一定out在前面
        matic.add(l.sum(),l.numel())
    return matic[0]/matic[1]#返回损失

4、主要部分，训练函数

# 给出训练函数
def train(train_feature,test_feature,train_label,test_label,num_epochs=400):
    loss=nn.MSELoss()
    input_shape=train_feature.shape[-1]#train_feature的列
    net=nn.Sequential(nn.Linear(input_shape,1,bias=False))#bias=False
    trainer=torch.optim.SGD(net.parameters(),lr=0.1)
    batch_size=min(10,train_feature.shape[0])#小细节
    train_iter=d2l.load_array((train_feature,train_label.reshape(-1,1)),batch_size)#迭代器生成,记住第一个随便，第二个一定是列向量
    test_iter=d2l.load_array((test_feature,test_label.reshape(-1,1)),batch_size,is_train=False)
    anitimator=d2l.Animator(xlabel='epoch',ylabel='loss',yscale='log',
                            xlim=[1,num_epochs],ylim=[1e-3,1e2],
                            legend=['train','test'])
    for epoch in range(num_epochs):
        d2l.train_epoch_ch3(net,train_iter,loss,trainer)
        if epoch==0 or (epoch+1)%20==0:
            train_l,test_l=evaluate_loss(net,train_iter,loss),evaluate_loss(net,test_iter,loss)
            print(f'epoch:{epoch+1},train_l:{train_l:.5f},test_l:{test_l:.5f}')
            anitimator.add(epoch+1,(train_l,test_l))


    print("weight:",net[0].weight.data.numpy())

5、给出几种拟合

train(poly_feature[:n_train,:4],poly_feature[n_train:,:4],label[:n_train],label[n_train:])

正常：两个loss都比较小且相近

train(poly_feature[:n_train,:2],poly_feature[n_train:,:2],label[:n_train],label[n_train:])

欠拟合：两个都比较大，相近

train(poly_feature[:n_train,:],poly_feature[n_train:,:],label[:n_train],label[n_train:])

过拟合：test_loss明显比train_loss大，参数也比较多，模型复杂。

该处使用的url网络请求的数据。

---