NNDL 实验七循环神经网络（2）梯度爆炸实验

最新推荐文章于 2023-03-27 13:17:09 发布

VIP文章 Guo_weiqi

最新推荐文章于 2023-03-27 13:17:09 发布

阅读量585

点赞数 1

文章标签： rnn 深度学习

本文链接：https://blog.csdn.net/Guo_weiqi/article/details/128052934

版权

6.2 梯度爆炸实验
造成简单循环网络较难建模长程依赖问题的原因有两个：梯度爆炸和梯度消失。

梯度爆炸问题：比较容易解决，一般通过权重衰减或梯度截断可以较好地来避免；

梯度消失问题：更加有效的方式是改变模型，比如通过长短期记忆网络LSTM来进行缓解。

本节将首先进行复现简单循环网络中的梯度爆炸问题，然后尝试使用梯度截断的方式进行解决。

采用长度为20的数据集进行实验，

训练过程中将进行输出W,U,b的梯度向量的范数，以此来衡量梯度的变化情况。

6.2.1 梯度打印函数
在训练过程中打印梯度

import os
import torch
import random
import numpy as np
from torch.utils.data import DataLoader
W_list = []
U_list = []
b_list = []
# 计算梯度范数
def custom_print_log(runner):
    model = runner.model
    W_grad_l2, U_grad_l2, b_grad_l2 = 0, 0, 0
    for name, param in model.named_parameters():
        if name == "rnn_model.W":
            W_grad_l2 = torch.norm(param.grad, p=2).numpy()
        if name == "rnn_model.U":
            U_grad_l2 = torch.norm(param.grad, p=2).numpy()
        if name == "rnn_model.b":
            b_grad_l2 = torch.norm(param.grad, p=2).numpy()
    print(f"[Training] W_grad_l2: {W_grad_l2:.5f}, U_grad_l2: {U_grad_l2:.5f}, b_grad_l2: {b_grad_l2:.5f} ")
    W_list.append(W_grad_l2)
    U_list.append(U_grad_l2)
    b_list.append(b_grad_l2)

分别定义W_list, U_list和b_list，用于分别存储训练过程中参数W,U和b的梯度范数。

【思考】什么是范数，什么是L2范数，这里为什么要打印梯度范数？

范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范数是一个函数，是矢量空间内的所有矢量赋予非零的正长度或大小。半范数可以为非零的矢量赋予零长度。

定义范数的矢量空间是赋范矢量空间；同样，定义半范数的矢量空间就是赋半范矢量空间。

L1范数是指向量中各个元素绝对值之和;

L2范数定义为向量所有元素的平方和的开平方

为什么要打印梯度范数：

函数在某一点处的方向导数在其梯度方向上达到最大值,此最大值即梯度的范数。而模型的学习过程是通过使用训练数据来最小化损失函数，从而确定参数的值。而最小化损失函数，即通过求导求损失函数的极值。“梯度下降通常不会到达任何形式的临界点”，意思是用梯度下降不可能完全优化到极小点，只能在极小点附近徘徊，而极小点附近恰恰是梯度较大的区域（例如一个凹下去的“坑”），所以在训练时梯度范数增加。通过打印梯度范数观察梯度变化趋势，来更好地进行模型训练。

6.2.2 复现梯度爆炸现象
为了更好地复现梯度爆炸问题，使用SGD优化器将批大小和学习率调大，学习率为0.2，同时在计算交叉熵损失时，将reduction设置为sum，表示将损失进行累加。

获取训练过程中关于W，U和b参数梯度的L2范数，并将其绘制为图片以便展示。

因为Tanh为Sigmoid型函数，其饱和区的导数接近于0，

由于梯度的急剧变化，参数数值变的较大或较小，容易落入梯度饱和区，导致梯度为0，

模型很难继续训练.

np.random.seed(0)
random.seed(0)
torch.manual_seed(0)
 
# 训练轮次
num_epochs = 50
# 学习率
lr = 0.2
# 输入数字的类别数
num_digits = 10
# 将数字映射为向量的维度
input_size = 32
# 隐状态向量的维度
hidden_size = 32
# 预测数字的类别数
num_classes = 19
# 批大小
batch_size = 64
# 模型保存目录
save_dir = "./checkpoints"
 
# 可以设置不同的length进行不同长度数据的预测实验
length = 20
print(f"\n====> Training SRN with data of length {length}.")
 
# 加载长度为length的数据
data_path = f"D:/datasets/{length}"
train_examples, dev_examples, test_examples = load_data(data_path)
train_set, dev_set, test_set = DigitSumDataset(train_examples), DigitSumDataset(dev_examples),DigitSumDataset(test_examples)
train_loader = DataLoader(train_set, batch_size=batch_size)
dev_loader = DataLoader(dev_set, batch_size=batch_size)
test_loader = DataLoader(