NNDL 作业4：第四章课后题

最新推荐文章于 2024-06-11 02:05:33 发布

plum-blossom

最新推荐文章于 2024-06-11 02:05:33 发布

阅读量379

点赞数 1

分类专栏： NNDL实验文章标签：深度学习 pytorch python

本文链接：https://blog.csdn.net/qq_51713698/article/details/127215841

版权

NNDL实验专栏收录该内容

28 篇文章 4 订阅

订阅专栏

文章目录

习题4-2 试设计一个前馈神经网络来解决XOR问题,要求该前馈神经网络具有两个隐藏神经元和一个输出神经元,并使用ReLU作为激活函数.

分析

XOR输入为2个神经元，输出为一个神经元，此题要求隐藏神经元为2个，故只要两层全连接层即可

数据集：输入为两位二进制，共四种情况，输出为一个二进制表示的数，要么为0，要么为1
网络模型：用pytorch搭建两层全连接层神经网络
训练：计算网络输出，计算损失函数，反向传播，参数更新
求权重和偏置
测试

代码如下：

import torch.nn as nn
import torch
import torch.optim as optim


# 异或门模块由两个全连接层构成
class XORModule(nn.Module):
    def __init__(self):
        super(XORModule, self).__init__()
        self.fc1 = nn.Linear(2, 2)
        self.fc2 = nn.Linear(2, 1)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = x.view(-1, 2)
        x = self.relu((self.fc1(x)))
        x = self.fc2(x)
        return x




# 输入和输出数据
input_x = torch.Tensor([[0, 0], [0, 1], [1, 0], [1, 1]])
input_x1 = input_x.float()
real_y = torch.Tensor([[0], [1], [1], [0]])
real_y1 = real_y.float()
# 设置损失函数和参数优化函数
net = XORModule()
loss_function = nn.MSELoss(reduction='mean')  # 用交叉熵损失函数会出现维度错误
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)  # 用Adam优化参数选不好会出现计算值超出0-1的范围

# 进行训练
for epoch in range(10000):
    out_y = net(input_x1)
    loss = loss_function(out_y, real_y1)  # 计算损失函数
    # print('啦啦啦')
    optimizer.zero_grad()  # 对梯度清零，避免造成累加
    loss.backward()  # 反向传播
    optimizer.step()  # 参数更新

# 打印计算的权值和偏置
print('w1 = ', net.fc1.weight.detach().numpy())
print('b1 = ', net.fc1.bias.detach().numpy())
print('w2 = ', net.fc2.weight.detach().numpy())
print('b2 = ', net.fc2.bias.detach().numpy())

input_test = input_x1
out_test = net(input_test)
print('input_x', input_test.detach().numpy())
print('out_y', out_test.detach().numpy())

运行结果：
权重和偏置结果：

在这里插入图片描述
测试结果：

习题4-3 试举例说明“死亡ReLU问题”,并提出解决方法.

“死亡ReLU问题”是指参数再一次不恰当的更新后，使得隐藏层神经元的输入全部为负数，ReLU函数无法对其激活，那么神经元自身参数的梯度永远都是0，以后的训练过程中永远都不会被激活。

例子：
以二分类问题为例，同时采用交叉熵作为Loss Function：
在这里插入图片描述
解决办法：
使用Leaky ReLU、PReLU、ELU、Softplus等激活函数代替ReLU

习题4-7 为什么在神经网络模型的结构化风险函数中不对偏置b进行正则化?

首先正则化主要是为了防止过拟合，而过拟合一般表现为模型对于输入的微小改变产生了输出的较大差异，这主要是由于有些参数w过大的关系，通过对||w||进行惩罚，可以缓解这种问题。

而如果对||b||进行惩罚，其实是没有作用的，因为在对输出结果的贡献中，参数b对于输入的改变是不敏感的，不管输入改变是大还是小，参数b的贡献就只是加个偏置而已。举个例子，如果你在训练集中，w和b都表现得很好，但是在测试集上发生了过拟合，b是不背这个锅的，因为它对于所有的数据都是一视同仁的（都只是给它们加个偏置），要背锅的是w，因为它会对不同的数据产生不一样的加权。

或者说，模型对于输入的微小改变产生了输出的较大差异，这是因为模型的“曲率”太大，而模型的曲率是由w决定的，b不贡献曲率（对输入进行求导，b是直接约掉的）。

这个偏置 b对于函数来说只是平移，并且 b对输入的改变是不敏感的，无论输入变大还是变小， b对结果的贡献只是一个偏置。因此其对过拟合没有帮助，并且在《DeepLearning》Chapter 7.1中说到：对 b进行正则化容易导致欠拟合。

对于神经网络正则化，一般只对每一层仿射变换的weights进行正则化惩罚，而不对偏置bias进行正则化。
相比于weight，bias训练准确需要的数据要更少。每个weight指定了两个变量之间的关系。weights训练准确需要在很多种情况下的同时观察两个变量。每个bias只控制一个变量。这意味着不对bias正则化，没有引入很多方差（variance）。同时，对bias进行正则化容易引起欠拟合。

习题4-8 为什么在用反向传播算法进行参数学习时要采用随机参数初始化的方式而不是直接令w =0,b = 0?

反向传播就是要将神经网络的输出误差，一级一级地传播到输入。在计算过程中，计算每一个w 对总的损失函数的影响，即损失函数对每个w的偏导。根据w的误差的影响，再乘以步长，就可以更新整个神经网络的权重。当一次反向传播完成之后，网络的参数模型就可以得到更新。更新一轮之后，接着输入下一个样本，算出误差后又可以更新一轮，再输入一个样本，又来更新一轮，通过不断地输入新的样本迭代地更新模型参数，就可以缩小计算值与真实值之间的误差，最终完成神经网络的训练。当直接令w =0，b=0时，那么第一次计算时，隐层神经元的计算结果都一样，并且在反向传播时参数更新也一样，导致在每两层之间的参数都是一样的，这样相当于隐层只有 1 个神经元。