NNDL 作业4：第四章课后题

目录

习题4-2 试设计一个前馈神经网络来解决 XOR 问题，要求该前馈神经网络具有两个隐藏神经元和一个输出神经元，并使用 ReLU 作为激活函数．

习题4-3 试举例说明“死亡ReLU问题”，并提出解决方法.

习题4-7 为什么在神经网络模型的结构化风险函数中不对偏置b进行正则化?

 习题 4-8 为什么在用反向传播算法进行参数学习时要采用随机参数初始化的方式而不是直接令 w= 0, 𝒃 = 0？

习题4-9 梯度消失问题是否可以通过增加学习率来缓解？

---

习题4-2 试设计一个前馈神经网络来解决 XOR 问题，要求该前馈神经网络具有两个隐藏神经元和一个输出神经元，并使用 ReLU 作为激活函数．

class Model_MLP_L2_V2(torch.nn.Module):
    def __init__(self, input_size, hidden_size,hidden_size1,output_size):
        super(Model_MLP_L2_V2, self).__init__()
        # 使用'paddle.nn.Linear'定义线性层。
        # 其中第一个参数（in_features）为线性层输入维度；第二个参数（out_features）为线性层输出维度
        # weight_attr为权重参数属性，这里使用'paddle.nn.initializer.Normal'进行随机高斯分布初始化
        # bias_attr为偏置参数属性，这里使用'paddle.nn.initializer.Constant'进行常量初始化
        self.fc1 = nn.Linear(input_size, hidden_size,)
        nn.init.normal_(self.fc1.weight, mean=0, std=1)
        nn.init.constant_(self.fc1.bias,0)
        self.fc3 = nn.Linear(hidden_size,hidden_size1 , )
        nn.init.normal_(self.fc3.weight, mean=0, std=1)
        nn.init.constant_(self.fc3.bias, 0)
        self.fc2 = nn.Linear(hidden_size, output_size,)
        nn.init.normal_(self.fc2.weight, mean=0, std=1)
        nn.init.constant_(self.fc2.bias, 0)
        
        # 使用'paddle.nn.functional.sigmoid'定义 Logistic 激活函数
        self.act_fn = torch.sigmoid
        # 前向计算
    def forward(self, inputs):
        z1 = self.fc1(inputs)
        a1 = self.act_fn(z1)



        z2 = self.fc2(a1)
        a2 = self.act_fn(z2)

        return a2

# 定义多层前馈神经网络
class Model_MLP_L5(torch.nn.Module):
            def __init__(self, input_size, output_size, act='sigmoid',
                         w_init=torch.nn.init.normal_(torch.rand(3,3),mean=0,std=0.01),
                         b_init=torch.nn.init.constant_(torch.rand(3,3),val=-8.0)):

                super(Model_MLP_L5, self).__init__()
                self.fc1 = torch.nn.Linear(input_size, 3)
                self.fc2 = torch.nn.Linear(3, 3)
                self.fc3 = torch.nn.Linear(3, 3)
                self.fc4 = torch.nn.Linear(3, 3)
                self.fc5 = torch.nn.Linear(3, output_size)
                # 定义网络使用的激活函数
                if act == 'sigmoid':
                    self.act = torch.sigmoid
                elif act == 'relu':
                    self.act = torch.relu
                elif act == 'lrelu':
                    self.act = F.leaky_relu
                else:
                    raise ValueError("Please enter sigmoid relu or lrelu!")
                # 初始化线性层权重和偏置参数
                self.init_weights(w_init, b_init)

            # 初始化线性层权重和偏置参数
            def init_weights(self, w_init, b_init):
                # 使用'named_sublayers'遍历所有网络层
                for n, m in enumerate(self.modules()):
                    # 如果是线性层，则使用指定方式进行参数初始化
                    if isinstance(m, nn.Linear):
                        torch.nn.init.normal_(w_init,mean=0,std=0.01)
                        torch.nn.init.constant_(b_init,val=1.0)

            def forward(self, inputs):
                outputs = self.fc1(inputs)
                outputs = self.act(outputs)
                outputs = self.fc2(outputs)
                outputs = self.act(outputs)
                outputs = self.fc3(outputs)
                outputs = self.act(outputs)
                outputs = self.fc4(outputs)
                outputs = self.act(outputs)
                outputs = self.fc5(outputs)
                outputs = torch.sigmoid(outputs)
                return outputs

torch.seed()
# 学习率大小
lr = 0.01

# 定义网络，激活函数使用sigmoid
model =  Model_MLP_L5(input_size=2, output_size=1, act='relu')

# 定义优化器
optimizer = torch. optim.SGD(model.parameters(),lr )

# 定义损失函数，使用交叉熵损失函数
loss_fn = F.binary_cross_entropy

# 定义评价指标
metric = accuracy

# 指定梯度打印函数
custom_print_log=print_grads
# 实例化Runner类
runner = RunnerV2_2(model, optimizer, metric, loss_fn)
# 启动训练
runner.train([X_train, y_train], [X_dev, y_dev],
            num_epochs=1, log_epochs=None,
            save_path="best_model.pdparams",
            custom_print_log=custom_print_log)

习题4-3 试举例说明“死亡ReLU问题”，并提出解决方法.

The gradient of the Layers：
fc1.weight .gard:
tensor(0.)
=============
fc1.bias .gard:
tensor(0.)
=============
fc2.weight .gard:
tensor(0.)
=============
fc2.bias .gard:
tensor(0.)
=============
fc3.weight .gard:
tensor(0.)
=============
fc3.bias .gard:
tensor(0.0014)
=============
fc4.weight .gard:
tensor(-0.0016)
=============
fc4.bias .gard:
tensor(-0.0194)
=============
[Evaluate] best accuracy performence has been updated: 0.00000 --> 0.46875

死亡relu问题：当x<0x<0时，ReLU函数的输出恒为0。在训练过程中，如果参数在一次不恰当的更新后，某个ReLU神经元在所有训练数据上都不能被激活（即输出为0），那么这个神经元自身参数的梯度永远都会是0，在以后的训练过程中永远都不能被激活。

解决方法：一种简单有效的优化方式就是将激活函数更换为Leaky ReLU、ELU等ReLU的变种。

 

习题4-7 为什么在神经网络模型的结构化风险函数中不对偏置b进行正则化?

从贝叶斯的角度来讲，正则化项通常都包含一定的先验信息，神经网络倾向于较小的权重以便更好地泛化，但是对偏置就没有这样一致的先验知识。另外，很多神经网络更倾向于区分方向信息（对应于权重），而不是位置信息（对应于偏置），所以对偏置加正则化项对控制过拟合的作用是有限的，相反很可能会因为不恰当的正则强度影响神经网络找到最优点。
过拟合会使得模型对异常点很敏感，即准确插入异常点，导致拟合函数中的曲率很大（即函数曲线的切线斜率非常高），而偏置对模型的曲率没有贡献（对多项式模型进行求导，为W的线性加和），所以正则化他们也没有什么意义。

在神经网络模型的结构化风险函数中加入正则化项，可以避免过拟合，对于偏置b bb进行正则化对于防止过拟合没有什么影响。

 习题 4-8 为什么在用反向传播算法进行参数学习时要采用随机参数初始化的方式而不是直接令 w= 0, 𝒃 = 0？

如果对每一层的权重和偏置都用0初始化，那么通过第一遍前向计算，所有隐藏层神经元的激活值都相同；在反向传播时，所有权重的更新也都相同，这样会导致隐藏层神经元没有差异性，出现对称权重现象。

反向传播就是要将神经网络的输出误差，一级一级地传播到输入。在计算过程中，计算每一个w ww对总的损失函数的影响，即损失函数对每个w ww的偏导。根据w ww的误差的影响，再乘以步长，就可以更新整个神经网络的权重。当一次反向传播完成之后，网络的参数模型就可以得到更新。更新一轮之后，接着输入下一个样本，算出误差后又可以更新一轮，再输入一个样本，又来更新一轮，通过不断地输入新的样本迭代地更新模型参数，就可以缩小计算值与真实值之间的误差，最终完成神经网络的训练。当直接令w ww=0，b=0时，会让下一层神经网络中所有神经元进行着相同的计算，具有同样的梯度，同样权重更新。
 

习题4-9 梯度消失问题是否可以通过增加学习率来缓解？

在一定程度上可以缓解。适当增大学习率可以使学习率与导数相乘结果变大，缓解梯度消失；过大学习率可能梯度巨大，导致梯度爆炸。

总结

这次试验在掌握基本原理上对参数的优化，可能出现的问题有了更多的理解，参权重尽量随机初始化，偏置不需要进行正则化，梯度消失可以使用relu函数解决，死亡relu可以用lrelu函数优化。