NLP 3.1 RNN,LSTM,GRU

最新推荐文章于 2024-07-15 19:05:14 发布
最新推荐文章于 2024-07-15 19:05:14 发布
阅读量227 收藏
点赞数
文章标签： 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51182518/article/details/113856543
版权
本文介绍了递归神经网络（RNN）的重要性，包括其在处理上下文关系和不同长度数据的优势。深入讨论了RNN的语言模型、梯度消失与爆炸问题以及解决方案。LSTM和GRU作为RNN的改进版，通过门控机制解决了长期依赖问题，广泛应用于多种NLP任务。双向LSTM进一步增强了模型捕捉上下文的能力。
摘要由CSDN通过智能技术生成

1、为什么需要递归神经网络？

  • RNN可以考虑上下文关系，语序
  • RNN可以减少参数量，减少模型复杂度
  • 可以处理不同时长的数据

2、Recurrent Neural Network——递归神经网络

2.1 构造语言模型

在这里插入图片描述

2.2 对于情感分析只需要在最后时刻将rnn cell的输出接入一个softmax

2.3 RNN formulation

在这里插入图片描述
线性的转换＋非线性激活函数

2.4 RNN vs HMM

在hmm中，每一个时刻只有一个状态被激活。RNN每个时刻的每个状态都是一个连续性的随机变量——分布式表示方法。深度学习基本都是分布式的表示方法

在这里插入图片描述

one- hot encoding：

  • sparse
  • 不需要学习
  • 状态转移矩阵会非常大
    distributed representation
  • non-sparse/compact
  • 需要训练学习

3、Recap:语言模型

在这里插入图片描述

4、RNN的语言模型

  • 1、先对每一个word做word embedding

  • 2、输入rnn cell

  • 3、输出每个时刻的output

  • 4、y输出的是给定当前单词，下一个单词出现的概率分布

  • 5、针对一个sentence，损失函数是每个时刻loss的叠加

最低0.47元/天 解锁文章
weixin_51182518
关注
【Pytorch项目实战】之自然语言处理：RNN、LSTM、GRU、Transformer
shinuone的博客
01-28 2041
其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 的顺序网络结构，使得模型可以并行化训练，而且能够充分利用训练资料的全局信息，加入Transformer的Seq2seq模型在NLP的各个任务上都有了显著的提升。当人视觉在感知东西时候往往会更加关注某个场景中显著性的物体，为了合理利用有限的视觉信息处理资源，人需要选择视觉区域中的特定部分，然后集中关注它。：CNN的输入图像大小固定，而在语音识别中，每句话的长度都是不一样的，且一句话的前后也是有关系的。可以捕获一个序列的信息。
RNN模型（大白话+公式推导）
毕业才是起点
03-26 3029
标准神经网络不适合处理带时间序列的网络场景（标准神经网络不适合处理带时间序列的网络场景）
时序模型：循环神经网络（RNN）
xunyishuai5020的博客
02-22 1万+
1. 循环神经网络（RNN）定义 循环神经网络（recurrent neural network, RNN）是一类专门设计处理不定长序列数据的神经网络。 与使用一种新计算1作为核心的卷积神经网络不同，循环神经网络仍使用特征的线性组合作为计算核心，并使用共享参数策略使模型能泛化不同长度的序列数据。 2. 循环神经网络的由来：从全连接神经网络（DNN）到循环神经网络（RNN） 2.1 全连接神经网络的不足 最初，研究者直接将时间序列看作特征向量，将序列每一时刻的观测作为一种特征输入全连接神经网络，来预测序列的标
RNN模型
最新发布
ldk的博客
07-15 430
循环神经网络（RNN）是一种深度学习模型，专门用于处理序列数据。它通过内部的循环结构，能够有效地捕捉序列数据中的时间关系和上下文信息。RNN模型在短序列任务上性能和效果都表现优异，但在过长的序列导致梯度的计算异常, 发生梯度消失或爆炸。
RNN和LSTM的区别是什么？
weixin_40551464的博客
01-09 2395
LSTM: LSTM是RNN的一个变种，它包含特殊的结构称为“门”（Gates）。RNN: RNN的核心是一个循环单元，它在序列的每个时间步上执行相同的任务，同时保留一些关于之前步骤的信息。RNN: RNN在处理长序列时面临“梯度消失”或“梯度爆炸”的问题，这使得它难以学习和保持长期的依赖关系。LSTM: 对于需要处理复杂模式和长期依赖的任务（如机器翻译、语音识别等），LSTM通常是更好的选择。RNN: 对于一些不需要长期记忆的简单序列处理任务，标准的RNN可能足够有效。
【图解】RNN模型结构详解、教程
AIcar_lrm的博客
05-10 1760
如果目标是 输入今年1-12月份的房价，输出是预测的明年1月的房价，那此时循环神经网络经过隐含层后，可以接入一个全连接层，也可以将最后时刻隐含层的输出作为网络输出，分别如下图(a)(b)所示。然后，对于每个序列数据，RNN模型将其输入序列数据和当前的隐藏状态进行计算，并输出新的隐藏状态。在这个过程中，隐藏状态。并不会发生实际的改变，而是根据上一个序列的最终隐藏状态重新创建一个新的初始隐藏状态，用于处理下一个序列数据。中的参数是模型在最后一个时间步的隐藏状态值，可以在需要时用于下一个序列的预测或其他操作。
RNN（循环神经网络）
weixin_63685622的博客
05-16 4357
RNN(Recurrent Neural Network), 中文称作循环神经网络,它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.RNN的循环机制使模型隐层上一时间步产生的结果,能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.结构：三层，输入、输出、隐藏层（循环在隐藏层）图中sigma为sigmiod函数，将值压缩在0-1之间。
NLP入门（2）— RNN & LSTM
机计复计机
02-29 485
上一期介绍了神经语言模型基础以及词向量表示。在开始介绍其他语言模型前，有必要了解一下它们的基础结构：RNN以及LSTM。
基于Python进行RNN LSTM GRU测试及数据集试验【100012341】
05-22
递归神经网络(RNN)是神经网络的一种，被广泛用于自然语言处理与手写字体的识别中。本次的分析工作主要分为以下几部分： 使用递归神经网络和其变体(长短期记忆网络LSTM、GRU)在多个数据集(MNIST/FashionMNIST/CIFAR...
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大部分，机器学习神经网络RNN教程、LSTM、GRU。
自然语言处理常用RNN、LSTM、GRU举例详解，通俗易懂
weixin_43162364的博客
06-27 2510
之前疫情网民情绪识别的模型用到了LSTM，最近面试被问到具体细节，感觉被拎出来羞辱，经过认（cha）真（yue）思（wen）考（xian），总结了一下RNN、LSTM、GRN的一些知识。为了更加易懂，本文会采用疫情网民情绪识别这篇文章里的例子。 RNN详解 说到LSTM，还是要先从RNN（循环神经网络）开始描述，算是LSTM的基础。RNN经典的模型分解可以用如下图片解释，这也是我在大部分文章中看到的解释，感兴趣的可以到RNN详解这篇文章中看看。 左侧部分，x、s、o都是向量，分别表示输入层、隐藏层和输出层
RNN与LSTM的对比分析
weixin_45268911的博客
07-20 7851
RNN与LSTM 一、RNN 1. 为什么需要RNN？ 在这之前，我们已经学习了基础的神经网络，它们可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y；但基础的神经网络只在层与层之间建立了权连接，也就是说，他们都只能单独的去处理一个个的输入，前一个输入和后一个输入是完全没有关系的。而在实际应用中某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，相比一般的神经网络来说，他能够处理序列变化的数据
循环神经网络（RNN）
热门推荐
小朱小朱绝不认输的博客
01-10 2万+
在之前学习了全连接神经网络（DNN）模型，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或部分连接的，但每层之间的节点是无连接的。 一、神经网络基础 神经网络可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y，结构图如下： 将神经网络模型训练好之后，在输入层给定一个x，通过网络之后就能够在输出层得到特定的y，那么既然有了这么强大的模型，为什么还需要RNN（循环神经网络）呢？ 二、为什么需要RNN（循环神经网络） 考虑这样一个问题，如果要预测句子的下一个单词是什么
自然语言处理基础知识入门(三) RNN，LSTM，GRU模型详解
WANGYANG的博客
04-14 1400
在上一章节中，深入探讨了Word2vec模型的两种训练策略以及创新的优化方法，从而得到了优质的词嵌入表示。不仅如此，Word2vec作为一种语言模型，也具备根据上下文预测中心词的能力，这是其训练的核心任务，也是模型所能实现的功能。那么，既然已有语言模型，为何还需要引入RNN呢？又或者，RNN具有何种独特性呢？而LSTM和GRU为什么会被视为RNN的变体？本章节将针对这些问题，用深入浅出的语言解读这些模型背后的核心逻辑，以便让读者对整个知识体系存在一个全面的理解。
LSTM的各种门
qq_41033867的博客
02-18 3107
动手实现LSTM代码的时候，因为忘记了各种门的原理，总感觉磕磕绊绊的。在这里重新巩固一下。 普通RNN无法学习到距离当前位置较远的信息，LSTM通过修改每个隐藏层内部的结构，来解决长距离依赖问题，实现对“记忆”的控制。如下图所示： 这种特殊结构的主要思想是：将信息存储在一个个记忆细胞中,不同隐藏层的记忆细胞之间通过少量线性交互形成一条传送带（图中红线），实现信息的流动。同时引入一种“门”的结构，...
RNN、LSTM、BLSTM、convLSTM之我们如何很好的利用上下文信息
weixin_44929101的博客
09-09 1882
前言 还是说道我们的老本行文本检测，大家看我的博客可以看出，无非就是文本检测和python。今天我们继续来学习一个对于文本检测比较有用的网络。BLSTM。 神经网络的意义 我们先要说一个概念，首先神经网络这些网络对文本检测的意义是什么，很多小伙伴觉得学习卷积神经网络啊bp神经网络啊，根本就没有什么收益，因为貌似大家觉得一直就训练神魔分类神魔的，根本和文本检测关系不大的。也做不了文本检测。其实神经网络一般被去掉了全连接层然后作为文本检测的特征提取部分，然后一般是后续再加上RPN处理或者特征合并就成为了一个文本
通俗理解LSTM的内部门操作（个人理解，可能不科学）
accumulate_zhang的博客
11-19 9720
参考博客：http://www.jianshu.com/p/9dc9f41f0b29 希望大家在阅读下面文字的时候，已经读完上面的文章了，因为下面的文字是根据上面文章来写的。 首先，深度学习模型已经在各种研究领域中取得了很大的发展，主要说一下自己就CNN和RNN，LSTM模型的一些理解。（适合理解不透彻或者掌握不到精髓的读者，初学者可以看上面的博客，大神可以忽略） 首
【一起入门NLP】中科院自然语言处理作业四：RNN+Attention实现Seq2Seq中英文机器翻译（Pytorch）【代码+报告】
vector的博客
12-27 3664
这里是国科大自然语言处理的第四次作业，同样也是从小白的视角解读程序和代码，现在我们开始吧（今天也是花里胡哨的一天呢????） 目录1.程序与实验说明实验要求程序说明代码链接代码结构运行步骤2.机器翻译概述任务描述神经机器翻译系统需要考虑的问题：3.数据数据来源数据处理4. 模型5.训练6.测试 1.程序与实验说明 实验要求 程序说明 代码链接 代码结构 运行步骤 2.机器翻译概述 任务描述 机器翻译是利用计算机把一种语言(源语言, source language) 翻译成另一种语言(目标语言, targe
LSTM输入结构
clam的博客
11-27 1万+
为了更好理解LSTM结构，必须理解LSTM的数据输入情况。仿照3通道图像的样子，在加上时间轴后的多样本的多特征的不同时刻的数据立方体如下图所示： 三维数据立方体 右边的图是我们常见模型的输入，比如XGBOOST，lightGBM，决策树等模型，输入的数据格式都是这种（N*F）的矩阵，而左边是加上时间轴后的数据立方体，也就是时间轴上的切片，它的维度是（N*T*F）,第一维度是样本数，第二维度是时间，第三维度是特征数，如下图所示： 这样的数据立方体很多，比如天气预报数据，把样本理解成城市，时.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值