[deeplearning-015]一文理解rnn

最新推荐文章于 2024-04-26 11:26:37 发布
最新推荐文章于 2024-04-26 11:26:37 发布
阅读量396 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lizhe_dashuju/article/details/82022176
版权

1.参考文档 https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/

  前提，熟悉bp算法推导，熟悉bptt算法推导

2.py源码

#!/usr/bin/env python3

#参考文献 https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/

import copy, numpy as np

np.random.seed(0)

# compute sigmoid nonlinearity
def sigmoid(x):
    output = 1 / (1 + np.exp(-x))
    return output

# convert output of sigmoid function to its derivative
def sigmoid_output_to_derivative(output):
    return output * (1 - output)

# training dataset generation
int2binary = {}#空字典
binary_dim = 8

#=256
largest_number = pow(2, binary_dim)



binary = np.unpackbits(np.array([range(largest_number)], dtype=np.uint8).T, axis = 1)
for i in range(largest_number):
    int2binary[i] = binary[i]

# input variables
alpha = 0.1
input_dim = 2
hidden_dim = 16
output_dim = 1

# initialize neural network weights
synapse_0 = 2 * np.random.random((input_dim, hidden_dim)) - 1 #把值调整到(-1,1)
synapse_1 = 2 * np.random.random((hidden_dim, output_dim)) - 1
synapse_h = 2 * np.random.random((hidden_dim, hidden_dim)) - 1
synapse_0_update = np.zeros_like(synapse_0)
synapse_1_update = np.zeros_like(synapse_1)
synapse_h_update = np.zeros_like(synapse_h)

# 随机生成ab两个整数，c=a+b。将abc转成二进制，a和b的二进制是rnn的输入，c的二进制是目标值，训练rnn。

# training logic
for j in range(50000):
    # generate a simple addition problem (a + b = c)
    a_int = np.random.randint(largest_number / 2)  # int version
    a = int2binary[a_int]  # binary encoding
    b_int = np.random.randint(largest_number / 2)  # int version
    b = int2binary[b_int]  # binary encoding

    # true answer
    c_int = a_int + b_int
    c = int2binary[c_int]

    # print(a_int, a, b_int, b,c_int,c)
    # exit(1)

    # where we'll store our best guess (binary encoded)
    d = np.zeros_like(c)
    overallError = 0
    #记录第二层的deta值
    layer_2_deltas = list()
    #记录第一层的输出值
    layer_1_values = list()
    layer_1_values.append(np.zeros(hidden_dim))

    # moving along the positions in the binary encoding
    for position in range(binary_dim):
        # generate input and output
        # 从abc三个数的二进制的最低位开始，每次取一位，生成训练样本
        # print("\nposition=", position)
        # print("a=",a)
        # print("b=",b)
        # print("c=", c)
        #比如，取第一位的时候，X=[[1,0]],y=[[1]]，是训练样本和目标值
        X = np.array([[a[binary_dim - position - 1], b[binary_dim - position - 1]]])
        y = np.array([[c[binary_dim - position - 1]]]).T
        # print('X=',X)
        # print('y=',y)
        # hidden layer (input ~+ prev_hidden)
        # 计算第一层的输出值：sigmoid里面有两个部分，分别是input*synapse_0和前次第一层输出值*synapse_h隐层
        layer_1 = sigmoid(np.dot(X, synapse_0) + np.dot(layer_1_values[-1], synapse_h))
        # output layer (new binary representation)
        #第二层输出就很直接了
        layer_2 = sigmoid(np.dot(layer_1, synapse_1))
        # did we miss?... if so, by how much?
        # 计算输出误差
        layer_2_error = y - layer_2
        #根据误差，计算第二层权重系数的deta，这个公式是对第二层微分求导得到的，熟悉BP算法的都清楚，不在叙述
        layer_2_deltas.append((layer_2_error) * sigmoid_output_to_derivative(layer_2))
        #计算绝对误差之和，以衡量8个位的总误差大小
        overallError += np.abs(layer_2_error[0])
        # decode estimate so we can print it out
        # 记录下 rnn对当前位的预测值
        d[binary_dim - position - 1] = np.round(layer_2[0][0])
        # store hidden layer so we can use it in the next timestep
        # 把本轮第一层的输出记录到layer_1_values，以备bptt使用。
        layer_1_values.append(copy.deepcopy(layer_1))

    #计算第一个隐层的delta
    future_layer_1_delta = np.zeros(hidden_dim)
    for position in range(binary_dim):
        #注意喽，X这一轮循环是从ab的二进制的高位开始往低位走的
        X = np.array([[a[position], b[position]]])
        #高位二进制是后计算的，因此其值在layer_1的尾部
        layer_1 = layer_1_values[-position - 1]
        prev_layer_1 = layer_1_values[-position - 2]
        # error at output layer
        layer_2_delta = layer_2_deltas[-position - 1]
        # error at hidden layer
        layer_1_delta = (future_layer_1_delta.dot(synapse_h.T) + layer_2_delta.dot(synapse_1.T)) * sigmoid_output_to_derivative(
    layer_1)
        # let's update all our weights so we can try again
        synapse_1_update += np.atleast_2d(layer_1).T.dot(layer_2_delta)
        synapse_h_update += np.atleast_2d(prev_layer_1).T.dot(layer_1_delta)
        synapse_0_update += X.T.dot(layer_1_delta)
        future_layer_1_delta = layer_1_delta

    synapse_0 += synapse_0_update * alpha
    synapse_1 += synapse_1_update * alpha
    synapse_h += synapse_h_update * alpha
    synapse_0_update *= 0
    synapse_1_update *= 0
    synapse_h_update *= 0

    # print out progress
    if (j % 1000 == 0):
        print("Error:" + str(overallError))
        print("Pred:" + str(d))
        print("True:" + str(c))
        out = 0
        for index, x in enumerate(reversed(d)):
            out += x * pow(2, index)
            print(str(a_int) + " + " + str(b_int) + " = " + str(out))
            print("------------")

 

未济2019
关注
AI大模型应用入门实战与进阶：深入理解Transformer架构
AI天才研究院
01-10 645
自从2017年的“Attention is All You Need”一文发表以来，Transformer架构已经成为自然语言处理（NLP）领域的主流模型。这篇文章将深入探讨Transformer架构的核心概念、算法原理以及实际应用。我们将从背景介绍开始，逐步揭示Transformer的神奇之处。Transformer的诞生是为了解决RNN（递归神经网络）和LSTM（长短期记忆网络）在处理长序列时的问题，如序列的长度限制和梯度消失/爆炸。
一切皆是映射：BERT模型原理及其在文本理解中的应用
最新发布
AI天才研究院
07-13 1077
一切皆是映射：BERT模型原理及其在文本理解中的应用 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：BERT, Transformer, 自注意力机制, 语义表示, 文本分类, 句子对匹配
一文看懂RNN
weixin_47675950的博客
04-02 544
一、写在前面 本文将介绍RNN的详细构造和实战，并将三种方法手写实现，再将其应用到歌词创作上。 二、RNN 考虑输入数据存在时间相关性的情况。假设Xt∈Rn×d\boldsymbol{X}t \in \mathbb{R}^{n \times d}Xt∈Rn×d是序列中时间步ttt的小批量输入，Ht∈Rn×h\boldsymbol{H}t \in \mathbb{R}^{n \times h}Ht∈Rn×h是该时间步的隐藏变量。我们保存上一时间步的隐藏变量Ht−1\boldsymbol{H}{t-1}Ht−1
神经网络算法：一文搞懂RNN（循环神经网络）
2401_84033492的博客
03-31 2655
本文将从RNN解决了什么问题、RNN的基本原理、RNN的优化算法、RNN的应用场景四个方面，带您一文搞懂循环神经网络RNN。
DL入门(3)：循环神经网络（RNN）
热门推荐
KI的博客
01-17 6万+
前馈神经网络可以看作一个复杂的函数，每次输入都是独立的，即网络的输出只依赖于当前的输入。在RNN中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。
一文看懂从 RNN 到 LSTM
大数据技术派
07-24 674
来自 |知乎 作者 |陈诚链接 | https://zhuanlan.zhihu.com/p/32085405这是在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的...
一文搞懂RNN（循环神经网络）基础篇
郝伟老师的博客——大数据、并行计算与人工智能时代
06-16 576
文章目录神经网络基础为什么需要RNN（循环神经网络）RNN结构总结 转载来源：https://zhuanlan.zhihu.com/p/30844905 神经网络基础 神经网络可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y，结构图如下： 将神经网络模型训练好之后，在输入层给定一个x，通过网络之后就能够在输出层得到特定的y，那么既然有了这么强大的模型，为什么还需要RNN（循环神经网络）呢？ 为什么需要RNN（循环神经网络） 他们都只能单独的取处理一个个的输入，前一个输入
【机器学习】Reinforcement Learning-强化学习学习笔记
长相忆兮长相忆的专栏
01-28 3846
强化学习（Reinforcement Learning, RL），又称增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。...
Attention如何在Encoder-Decoder循环神经网络中见效（原理篇）
翻滚的老鼠屎
03-26 5157
转眼间来到了二年级下学期，马上就要面临找工作的巨大压力。起风了，唯有努力生存~愿努力可以有所成效。 这一篇想要讲一讲Attention机制。文章框架主要翻译自How Does Attention Work in Encoder-Decoder Recurrent Neural Networks，也参考了一些笔者觉得比较不错的博客。 Attention（注意力机制）是为了提...
Deep-RNN-深度循环神经网络(RNN循环神经网络)
西小庄村高伟 的博客
10-20 1343
Deep-RNN-深度循环神经网络的概念学习与应用
一文搞懂LSTM 网络
zchang81的博客
07-20 1101
人们的每次思考并不都是从零开始的。比如说你在阅读这篇文章时，你基于对前面的文字的理解来理解你目前阅读到的文字，而不是每读到一个文字时，都抛弃掉前面的思考，从头开始。你的记忆是有持久性的。
深层循环神经网络（Deep RNNs）
csdn_xmj的博客
06-25 1556
来源：Coursera吴恩达深度学习课程 目前我们学习了不同RNN的版本，每一个都可以独当一面（already work quite well by themselves）。但是要学习非常复杂的函数，通常我们会把RNN的多个层堆叠在一起构建更深的模型，来构建一些更深的RNN。我们开始吧。 如上图左侧，一个标准的神经网络，首先是输入x，然后堆叠上隐含层，所以这里应该有激活值，比如说第一层是a^[1]，接着堆叠上下一层，激活值a^[2]，可以再加一层a^[3]，然后得到预测值y帽。深层的RNN网络如上图
动手学深度学习（四十一）——深度循环神经网络（Deep-RNN）
Liu Feng's Blog
11-13 3497
文章目录一、深度循环神经网络二、函数依赖关系三、简介实现3.1 网络构建3.2 训练与预测四、总结   本节非常简单，就是在RNN的基础上加了层的概念，毕竟之前讨论的RNN、GRU和LSTM我们都是在单层神经网络的基础上讨论的 一、深度循环神经网络   到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。只要我们可以对不同的交互类型建模具有足够的灵活性，这就不是一个大问题。然而，对于一个单层来说，这可能具有相当的挑战性。在线性模型的情况下，我
6.9_deep-rnn
taifyang的博客
06-12 141
6.9 深度循环神经网络 本章到目前为止介绍的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。图6.11演示了一个有LLL个隐藏层的深度循环神经网络，每个隐藏状态不断传递至当前层的下一时间步和当前时间步的下一层。 图6.11 深度循环神经网络的架构 具体来说，在时间步ttt里，设小批量输入Xt∈Rn×d\boldsymbol{X}_t \in \mathbb{R}^{n \times d}Xt​∈Rn×d（样本数为nnn，输入个数
深度学习 循环神经网络RNN
开到荼蘼的博客
05-05 1725
循环神经网络简介： 循环神经网络(Recurrent Neural Networks)是一种特殊的神经网络结构, 它是根据"人的认知是基于过往的经验和记忆"这一观点提出的. 它与DNN,CNN不同的是: 它不仅考虑前一时刻的输入,而且赋予了网络对前面的内容的一种'记忆'功能。RNN的主要用途是处理和预测序列数据。 RNN之所以称为循环神经网路，是因为一个序列当前的输...
深度学习（Deep Learning）：循环神经网络一（RNN）
NEVERGUVEIP的博客
07-26 3210
原址：https://blog.csdn.net/fangqingan_java/article/details/53014085 概述 循环神经网络（RNN-Recurrent Neural Network）是神经网络家族中的一员，擅长于解决序列化相关问题。包括不限于序列化标注问题、NER、POS、语音识别等。RNN内容比较多，分成三个小节进行介绍，内容包括RNN基础以及求解算法、LSTM以...
深度探索：机器学习中的深度循环神经网络（Deep RNNs）原理及其应用
qq_51320133的博客
04-26 1351
深度循环神经网络作为一种重要的序列建模工具，已在诸多领域展现出强大的应用价值和优越性能。尽管面临梯度问题和训练复杂性的挑战，通过引入门控机制、残差连接等技术，以及与CNNs、Transformers等其他模型的有效融合，Deep RNNs在处理时序数据时依然保持着较高的竞争力。 展望未来，随着硬件加速技术的进步、模型压缩与轻量化方法的发展，Deep RNNs有望在更多实时、嵌入式和资源受限的环境中得到广泛应用。同时，结合元学习、自监督学习等前沿技术，Deep RNNs有望在小样本学习、无监督预训练等领域实
ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释
07-15
以下是对上述100个缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值