NNDL 作业9：分别使用numpy和pytorch实现BPTT

最新推荐文章于 2023-12-10 18:03:13 发布

captainMo_11

最新推荐文章于 2023-12-10 18:03:13 发布

阅读量155

点赞数 1

文章标签： pytorch 深度学习人工智能

本文链接：https://blog.csdn.net/m0_61190124/article/details/128186847

版权

本文详细推导了RNN的反向传播算法BPTT，并通过编写代码分别使用Numpy和Pytorch实现了这一算法，进行了数值测试验证。

摘要由CSDN通过智能技术生成

6-1P：推导RNN反向传播算法BPTT.

在这里插入图片描述

2P：设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.

代码如下：

import torch
import numpy as np
class RNNCell:
    def __init__(self, weight_ih, weight_hh,
                 bias_ih, bias_hh):
        self.weight_ih = weight_ih
        self.weight_hh = weight_hh
        self.bias_ih = bias_ih
        self.bias_hh = bias_hh
 
        self.x_stack = []
        self.dx_list = []
        self.dw_ih_stack = []
        self.dw_hh_stack = []
        self.db_ih_stack = []
        self.db_hh_stack = []
 
        self.prev_hidden_stack = []
        self.next_hidden_stack = []
 
        # temporary cache
        self.prev_dh = None
 
    def __call__(self, x, prev_hidden):
        self.x_stack.append(x)
 
        next_h = np.tanh(
            np.dot(x, self.weight_ih.T)
            + np.dot(prev_hidden, self.weight_hh.T)
            + self.bias_ih + self.bias_hh)
 
        self.prev_hidden_stack.append(prev_hidden)
        self.nex