RNN与LSTM两个小伙伴的学习笔记

最新推荐文章于 2023-06-13 16:23:01 发布
VIP文章 最新推荐文章于 2023-06-13 16:23:01 发布
阅读量302 收藏
点赞数
文章标签： 自然语言处理 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43506771/article/details/109022419
版权

这段时间一直在看NER相关的工作，终于把RNN以及LSTM的基本结构整理清楚了，于是接下来码一码，以便三天后又忘了找不到出处。其实大部分内容也是搬运来的。
在这里插入图片描述

RNN

首先介绍RNN，RNN全称循环神经网络。

在传统的深度神经网络模型中，我们的输入信息是没有顺序的。NLP领域中，我们输入单词经常使用embedding，将词汇映射为词向量，然后输入到神经网络。但是这种输入方式会有一些问题，比如，"我 爱 你"和"你 爱 我"在传统的神经网络中不能很好的识别。

在这种情况下，有人提出了将n-gram信息加入到输入层，比如fasttext，在一定程度上解决了单词间的顺序问题，但是这种方法也有一些弊端，就是我们无法捕获长句子的单词依赖，比如一个句子n个单词，那么如果想要捕获全部的单词顺序信息，需要1+2+3…+n，所以这种方式会让embedding_lookup变得非常大。

RNN就是专门解决这种无法捕获长距离的句子信息的模型。

简单来说，RNN侧重了时序，可以捕捉到句子之前的信息。

RNN模型

RNN的基本模型很简单。直接上图。一般来说分为输入层，隐藏层和输出层三个部分
在这里插入图片描述

xi表示在第i步输入的单词，

最低0.47元/天 解锁文章
一指小菜鸡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用RNN与LSTM实现的5个应用
05-12
1）使用RNN网络来预测正弦方波 2）使用LSTM网络来预测周期性的航班数据 3）使用LSTM网络来对文本分类 4）使用LSTM网络来对图像分类 5）使用LSTM网络来生成手写数字图像
Transformer在计算机视觉领域走到哪了？
阿木寺的博客
05-21 1460
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：微软研究院AI头条编者按：Transformer 模型在自然语言处理（NLP）领域已然成为一个新范式，如今越...
Transformer得到的图像attention map可视化，同时叠加到原图
sunmenmian的博客
06-13 2873
transformer输出的attention map形状为（bs,q,k）其中bs为batch size，q为query的序列长(这里设为16)，k为key的序列长（这里表示图像feature的patch数192=24*8）已知attention map=bs,16,192。得到的原图叠加attetnion效果图如下。
【Pytorch】21. 循环神经网络RNN和LSTM
阿肉的笔记
04-16 925
文章目录RNNLSTMLSTM架构Learn Gate学习门Forget Gate 遗忘门Remember Gate记忆门Use Gate 应用门其他架构Gated Recurrent Unit（GRU）Peephole Connections 本节我们学习recurrent neural networks (RNNs)和 long short-term memory (LSTM) RNN 假设有一个普通的神经网络，输入一张图片，预测出来是狗 但是如果这张图片真的是一只狼呢？神经网络怎么才可以知道呢？假如
LSTM原理讲解 GRU原理讲解
Amy_mm的博客
07-12 9597
2.1 LSTM（Long-short term memory） 长短期记忆（（Long short-term memory）最早是1997年由Hochreiter 和 Schmidhuber在论文《LONG SHORT-TERM MEMORY》[3][3]^{[3]}中提出的。 在所有的循环神经网络中都有一个如图所示的循环链，链式结构的每个单元将输入的信息进行处理后输出。在常规循环神经网...
Transformer以及attention机制介绍
SSyangguang的博客
05-29 7813
Transformer详解 1 self-attention机制 1.1 self-attention的提出 NLP和图像的输入都可以看作是一个vector，输出可能是类别或者数值，如果是一排vector，并且数量可变（例如句子长度不同），此时应该如何处理呢？ 首先来看对于一个句子，每个词的表示方法有两种：one-hot和word embedding。One-hot方法存在问题是每个词之间的联系被忽略了，word embedding会给每个词一个向量，包含了语义信息，最终一个句子就是一个长度不一的向
计算机领域热知识【1】Transformer与attention
kullollo的博客
06-24 2584
。Transformer的通用性与易训性使得其在自然语言处理领域大方异彩。自2017年提出以来，近5年来大量NLP领域的创新均是基于transformer进行的，例如我们熟知的BERT，GPT2等，均取得良好的实验效果。本篇博客介绍transformer的结构，并提出自己对模型结构的看法。...
RNN与LSTM源代码
12-18
消费者请注意，本资源是分别用RNN(循环神经网络)和LSTM(长短记忆网络)编写的MATLAB的案例，内部RNN.m和LSTM.m文件程序可以直接运行，内部已包含所需功能函数，如过不能直接运行请留言。
10.1 RNN,LSTM,.GRU递归神经网络学习笔记
01-06
总体而言每个RNN都有这样一个小小的循环核心单元，它把x作为输出传入RNN，RNN有一个内部隐藏态（internal hidden state），内部隐藏态会在RNN每次读取新的输入时更新，然后这一内部隐藏态会把结果反馈至模型，当模型...
RNN与LSTM详解ppt
06-01
本ppt详细介绍了LSTM和RNN的结构及公式推导，并对二者进行了比较
递归神经网络RNN与LSTM
05-03
递归神经网络RNN与LSTM简介与算法推导。
Transformer详解（二）：Attention机制
sophicchen的专栏
12-04 3048
1.Encoder-Decoder中的attention机制 上一篇文章最后，在Encoder-Decoder框架中，输入数据的全部信息被保存在了C。而这个C很容易受到输入句子长度的影响。当句子过长时，C就有可能存不下这些信息，导致模型后续的精度下降。Attention机制对于这个问题的解决方案是在decoder阶段，每个时间点输入的C都是不一样的。而这个C，会根据当前要输出的y，去选取最适合y...
LSTM（Long Short-Term Memory）
关于我的学习记录
12-19 697
LSTM（Long Short-Term Memory）
Transformer解读之：Transformer 中的 Attention 机制
qq_42902997的博客
10-12 2720
进行点乘，是不是就可以获得 I 对其他所有单词的值（有几个单词就产生几个值）但是这些值还不能叫做权重，因为相似度计算出的值范围根本不确定；- 最终我们要做的事情，是生成一组张量，这个张量代表着每个词跟其他所有词的关系，是相近还是疏远。是完全一样的东西，都只是线性层的输出而已，但是为了进行后面的操作，我们人为地对这些向量进行区分。这些词向量，也通过相同的方式获得了他们各自的最终和其他词向量在高维空间中的关系表示。向量原本的信息，然后对其他的所有文本也都通过线性层生成他们各自的。向量也是同样的作用，如法炮制。
Transformer 与 Attention
发呆的比目鱼的博客
07-20 1213
Attention is all you need 摘要 常用的序列模型都是基于卷积神经网络或者循环神经网络，表现最好的模型也是基于encoderdecoder框架的基础加上attention机制。提出一种基于attention机制的新模型transformer，抛弃了传统的模型结构。模型在2014WMT翻译数据集上，比现存最好的模型的bleu值高2个点。 ...
Transformer 初识：模型结构+attention原理详解
weixin_46833029的博客
11-18 1596
小白友好的教程：Transformer 模型结构及原理详解，附宝藏学习参考资源链接和代码
【原创】深入浅出Attention和Transformer
suvedo的博客
11-04 4853
本文介绍attention机制和基于attention的transformer模型。网上关于这两者的博客很多，但大都照搬论文，千篇一律，不够深入和通俗，本文在参考这些博客和原始论文的基础上，加入自己的理解，深入且通俗的讲解attention和transformer。 Attention in RNN Bengio等人在2014年Neural machine translation by jointly learning to align and translate中提出Attention机制。 传统的RNN
Transformer最全解析（attention is all you need）
不可能打工的博客
09-15 1397
Transformer出自google，被广泛应用于NLP的各项任务中，在transformer基础上改进优化的BERT模型在2019年11项NLP任务中表现SOTA。 论文原文：https://arxiv.org/pdf/1706.03762.pdf《attention is all you need》 CNN、RNN、DNN的局限性 在处理变长的序列问题时，一般的做法是利用卷积神经网络或循环神...
transformer 之 attention
gaotihong的博客
05-25 485
Transformer 1.简介 非rnn结构，仅仅基于attention + fc 现在机器翻译，全部用transformer + bert 2. 回顾attention Hm:对所有的输入的概括 根据状态sj，生成单词。新生成的单词，作为xn 每一个s计算一个c（context vector） Decoder 的当前状态与encoder的所有状态做对比，用align函数计算相关性alpha。 此处，WK,WQ,WV均为attention的参数，需要从训练集中学习到。 此处的at
rnn与lstm的异同
最新发布
01-07
- LSTM的结构相对复杂，包含输入门、遗忘门和输出门等组件，而RNN只有一个简单的循环单元。 - LSTM相对于RNN来说，计算量和参数量更大，训练时间更长。 总结起来，LSTM是RNN的一种改进型结构，通过引入门控机制来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值