1.8学习日志

补充前面：

1.神经网络一层的含义：是包括权重偏差计算以及σ计算的过程

 2.神经网络增加隐藏层的个数原因：

本质上一层较多的隐藏单元，和多层较少的隐藏单元模型capacity是一样的，但是增加隐藏层，每一层学习较少的特征模型会更好训练，也就是深度学习。如果是一层较多的隐藏单元会不好训练，容易出现过拟合的情况。

13 模型选择+过拟合和欠拟合

1.模型选择

训练误差和泛化误差

训练误差：模型在训练数据上的误差

泛化误差：模型在新数据上的误差

例子：通过学生模考成绩来预测未来考试分数

在过去考试好（训练误差）不代表未来考试好（泛化误差）

验证数据集和测试数据集

训练数据集：参与模型训练，训练出模型参数

验证数据集：没有参与模型训练，用来评估模型好坏的数据集，可以用来选择超参数

测试数据集：只能用一次数据集，不能用来调参数

注意测试数据集不能用作验证数据集

K折交叉验证（在没有足够多的数据时使用）

将训练数据分割k块，i=1,2，....,k,依次取第i块作为验证数据集，其余的为训练数据集，最后训练k次，报告k个验证集误差的平均，常用k=5或10，最终k所取的大小依据数据集的大小来决定，k取过大，训练次数越多花费也会越多

 

2.过拟合和欠拟合

 

模型容量可以理解为模型复杂度，数据比较简单的情况下应当选择复杂度低的模型，如果选择复杂度高的模型可能会出现模型泛化误差较大，就是有可能会将数据全部记住，遇到新的数据不再适用；数据比较复杂时，如果选择复杂度低的模型就会出现欠拟合的情况，例子是单层感知机无法处理XOR

 模型容量

 

模型容量的影响

深度学习的核心就是使得最优的泛化误差尽可能小，有时可能会需要承受一定的过拟合

参数个数越多，参数值的选择范围越大，模型容量会越大

 VC维

统计学习理论的一个思想，对于一个分类模型，VC等于一个最大的数据集的大小，都存在模型对其完美分类

在深度学习中很少用到VC维，原因是衡量不是很准确，计算深度学习模型的VC维很困难

数据复杂度 

多个因素：样本个数，每个样本的元素个数，时间、空间结构，多样性（分类的多少）

目前主要还是一个相对概念

3.代码演示模型选择、欠拟合和过拟合的一些现象

用三阶多项式生成训练数据集和测试数据集的标签

max_degree = 20  #多项式的最大阶数
n_train,n_test =100,100 #训练集和验证集各生成100个样本
true_w = np.zeros(max_degree) #分配大量空间
true_w[0:4] = np.array([5,1.2,-3.4,5.6])
#true_w：是一个长度为 max_degree 的数组，表示多项式的系数,前四项系数被设置，其余系数为零。

features = np.random.normal(size=(n_train+n_test,1))
#每个数据对应一行的feature，在这里feature一行只有一个数据x
np.random.shuffle(features)
poly_features = np.power(features,np.arange(max_degree).reshape(1,-1))
#np.arange(max_degree) 创建了一个 (1, max_degree) 的二维数组
#np.power(features, ...)计算 features 中每个元素的幂，幂的指数是 np.arange(max_degree) 中的对应元素。
#最后结果是一个矩阵，行是不同样本，列是每一个样本feature的不同次幂
for i in range(max_degree):
    poly_features[:,i] /= math.gamma(i+1)
#对 poly_features 的每一列即features 中元素的不同幂次的列除以i+1的阶乘
labels=np.dot(poly_features,true_w)#点乘归一化后的feature与权重得到标签y
labels += np.random.normal(scale=0.1,size=labels.shape)
#高斯噪声:生成一个服从正态分布的随机数数组，其标准差为 0.1，形状与 labels 相同,加到原始的标签labels上

注意这里需要转换参数的数据类型，否则后面会出现报错

'''Numpy转换为tensor'''
true_w,features,poly_features,labels = [torch.tensor(x,dtype=torch.float32) for x in [true_w,features,poly_features,labels]]
#x是输入的NumPy数组，dtype=torch.float32表示数据类型为32位浮点数。
#[...] for x in [true_w, features, poly_features, labels]：通过列表推导式，将四个NumPy数组逐个转换为PyTorch张量，并将结果存储在一个列表中。

实现一个函数来评估模型在给定数据集上的损失

'''评估给定数据集上的损失'''
def evaluate_loss(net,data_iter,loss):
    metric = d2l.Accumulator(2) #累加损失的总和及样本数量
    for X,y in data_iter:
        out = net(X)
        y = y.reshape(out.shape)
        l = loss(out,y)
        metric.add(l.sum(),l.numel())
    return metric[0]/metric[1]

定义训练函数

'''定义训练函数'''
def train(train_features,test_features,train_labels,test_labels,num_epochs=400):
    loss = nn.MSELoss()
    input_shape = train_features.shape[-1]
    net = nn.Sequential(nn.Linear(input_shape,1,bias=False))
    batch_size = min(10,train_labels.shape[0])
    
    #设置批量大小，避免超过训练集样本数量,批量大小为不超过10的最小值
    train_iter =d2l.load_array((train_features,train_labels.reshape(-1,1)),
                               batch_size)
    test_iter = d2l.load_array((test_features,test_labels.reshape(-1,1)),
                               batch_size,is_train=False)
    trainer = torch.optim.SGD(net.parameters(),lr=0.01)
    
    animator = d2l.Animator(xlabel='epoch',ylabel='loss',yscale = 'log',
                            xlim=[1,num_epochs],ylim=[1e-3,1e2])
    #这个动画将显示训练集和测试集上的损失。
    for epoch in range(num_epochs):
        d2l.train_epoch_ch3(net,train_iter,loss,trainer)
        if epoch==0 or (epoch+1)%20 == 0:
            animator.add(epoch+1,(evaluate_loss(net,train_iter,loss),
                                  evaluate_loss(net,test_iter,loss)))
        #定期（每20个 epoch）计算并记录训练集和测试集上的损失，将结果添加到动画中。
    print('weight:',net[0].weight.data.numpy())
    #输出训练完成后模型的权重
    d2l.plt.show()

'三阶多项式函数拟合（正常） 

'''三阶多项式函数拟合（正常）'''
train(poly_features[:n_train,:4],poly_features[n_train:,:4],
      labels[:n_train],labels[n_train:])
#分别取训练集的前四个特征以及标签，和验证集的前四个特征以及标签
#weight: [[ 4.9803653  1.4638978 -3.280431   4.707874 ]]

 

线性函数拟合（欠拟合）

用线性函数来拟合非线性函数会出现欠拟合，最终的训练损失依旧很高

'''线性函数拟合（欠拟合）'''
train(poly_features[:n_train,:2],poly_features[n_train:,:2],
      labels[:n_train],labels[n_train:])
#只给两个特征

高阶多项式函数拟合

'''高阶多项式函数拟合'''
train(poly_features[:n_train,:],poly_features[n_train:,:],
      labels[:n_train],labels[n_train:])
#给出所有的特征，模型会受到噪音的影响，后面几位特征就不是0
'''weight: [[ 4.8884954   1.3938264  -2.939043    4.7793474  -1.287067    1.3798007
  -0.10095616  0.16779372 -0.21168451 -0.17277557 -0.1014732  -0.21039842
   0.03185181 -0.04679766 -0.21408783 -0.09209824 -0.21103673 -0.06427366
   0.17556527 -0.06208216]]
'''

最后结果测试损失会偏大