RNN变种-----Embedding、LSTM、GRU的介绍

已于 2024-01-03 16:15:47 修改
阅读量990 收藏 17
点赞数 18
文章标签： rnn 笔记 embedding
于 2023-12-27 23:26:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54180573/article/details/135243840
版权

一、Embedding 介绍

一般来说，NLP任务的基本流程包括以下方面：

（1）文本预处理：文本清理、标准化、纠错、改写等。

（2）Tokenzing：分字、分词、分子词等。

（3）构造数据：将 Token转为模型需要的输入。

（4）文本特征表征：将输入的数据转换为向量表征（One-Hot、TF-IDF、Embedding）。

（5）结果输出：将向量表征转换为最终输出。

对于自然语言因其输入是一段文本，在中文中也即一个个字或一个个词，而行业内把这个字或词叫Token。如果要使用模型，拿到一段文本的第一件事就是把他Token化。当然，可以按字也可按词，或按你想要的其他方式。例如给定文本：我们相信AI可以让世界变得更美好。

按字Token化：我/们/相/信/A/I/可/以/让/世/界/变/得/更/美/好/。

按词Token化：我们/相信/AI/可以/让/世界/变得/更/美好/。

按Bi-Gram Token化：我们/们相/相信/信A/AI/I可/可以/以让/让世/世界/界变/变得/得更/更美/美好/好。

以上每种方法都有自己的优点和不足，在大模型之前，按词的方式比较常见，但在有了大模型之后，基本都是按字来了。

Token化后就要思考怎么表示这些Token，计算机只能处理数字，所以要想办法把Token变成计算机认识的数字。可以认为Embedding就是把Token变成计算机认识的数字的过程。

Embedding就是用一个低维向量（数据降维）表示一个物体，这个物体可以是一个单词、一个商品、一部电影等。Embedding的性质能使有相近含义的物体经映射后产生的向量们距离相近，比如Embedding（复仇者联盟）和Embedding（钢铁侠）的距离会很接近，而Embedding（复仇者联盟）和Embedding（阿甘正传）的距离就会远一些。此外，Embedding还有数学运算的关系，可以推断出单词之间的语义关系，例如 queen = king - man + woman。

二、LSTM介绍

假如现在有一任务，需要预测“ I grew up in France...I speak fluent French" 最后的词 ”French“。

当前建议下一个词可能是一种语言的名字，若需弄清楚就需要前文提到的France，而相关信息和当前预测位置之间的间隔很大。不幸的是，在这个间隔不断增大时，RNN会丧失学习连接到如此远的信息的能力。即RNN在反向传播时会面临梯度消失问题，而梯度是用来更新权值的（新权值=旧权值-梯度*学习率），进而导致权值几乎不更新，较早的学习器停止学习。

因此RNN会忘记它在较长序列中以前的内容，只具有短时记忆。而LSTM可在一定程度上解决梯度消失和梯度爆炸问题（本质上都是梯度反向传播的连乘效应），从而具有长期记忆，能够解决长期依赖问题。

LSTM是一种RNN特殊的类型，和基线RNN并没有特别大的结构不同，但用了不同的函数来计算隐状态。LSTM中重复的模块包含四个交互的层（三个sigmoid层和一个tanh层）。

LSTM的核心思想：

（1）LSTM关键就是细胞状态C，直接在模型上方整个链条上传输，只有少量线性交互，使得有效信息长期传递变得容易。

（2）LSTM有通过精心设计称作”门“的结构来给细胞丢弃或增加信息的能力。

（1）遗忘门，决定我们会从细胞状态中丢弃什么信息。向量 f_{t} 的值在（0，1）之间，1表示完全保留，0表示完全丢弃。

（2）输入门。sigmoid层决定我们需要更新的信息，tanh层创建一个新的候选记忆，会被加入到细胞状态（记忆）中。通俗来讲就是，新细胞记忆 = 旧细胞记忆*丢弃需要丢弃的信息 + 候选记忆*需要更新的信息。即   C_{t}=C_{t-1}*f_{t}+\widehat{C}_{t}*i_{t} 。

（3）输出门。基于细胞状态，确定最终输出什么值，可以看成是一个过滤后的版本。具体来说就是把得到的细胞状态（记忆）通过tanh处理（得到一个位于（-1，1）之间的值），再将它和sigmoid门得到的输出相乘。

总结： 

遗忘门：决定什么信息需要从记忆细胞中删除——0：将（过去的记忆）的值删除，1：保留的值；
输入门：决定输入的哪些新信息（输入信息通过候选记忆细胞传入）需要增加至记忆细胞中；
输出门：决定从记忆细胞中选出哪些信息进行输出。

LSTM 的核心概念在于细胞状态以及“门”结构。细胞状态相当于信息传输的路径，让信息能在序列连中传递下去——即网络的“记忆”。理论上讲，细胞状态能够将序列处理过程中的相关信息一直传递下去。因此，即使是较早时间步的信息也能携带到较后时间步的细胞中来，这克服了短时记忆的影响（RNN可能会因为指数项的累积，变得越来越小或大到“面目全非”，LSTM将累积下来的影响由指数运算转化为了加法运算与参数学习控制去留）。信息的添加和移除我们通过“门”结构来实现，“门”结构在训练过程中会去学习该保存或遗忘哪些信息。

三、GRU介绍

GRU（门控循环单元，Gate Recurrent Unit）也是 RNN 的一个变体，与LSTM类似通过门控单元解决RNN中不能长期记忆和反向传播中的梯度问题等，但内部结构比LSTM更为简单。

GRU内部使用了更新门（z_{t}）和重置门（r_{t}）。重置门决定了如何将新的输入信息与前面的记忆相结合；更新门定义了前面记忆中保存到当前时间步的量。如果将重置门设置为1，更新门设置为0，则可获得标准的RNN模型。

四、其它变种

（1）peephole

（2）coupled

catchtimea
关注
RNN原理+实战 pytorch--lstm--gru
07-02 1845
曝光一个垃圾博客纯粹是胡说八道赚取流量的：https://www.jianshu.com/p/2a688b1eaeb3 错误1： rnn原理：https://blog.csdn.net/qq_39422642/article/details/78676567
NLP学习—10.循环神经网络RNN与LSTM、GRU、双向LSTM以及基于PyTorch的代码实现
柳杰的博客
08-20 3755
文章目录一、为什么需要循环神经网络？二、RNN的原理三、RNN的类型四、RNN存在的问题五、LSTM/GRU六、Gated Recurrent Unit—GRU七、BI-LSTM八、Deep-BILSTM 一、为什么需要循环神经网络？   虽然全连接神经网络理论上只要训练数据足够，给定特定的x，就能得到希望的y，但是全连接神经网络只能处理独立的输入，前一个输入和后一个输入是完全没有关系的。针对某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的情况，此时，就需要用到循环神经网络RNN，该
EmbeddingRNN
TBTB的博客
07-17 458
RNN–Embedding and Linear Layer 目标 网络总体框架 import torch idx2char = ['e', 'h', 'l', 'o'] x_data = [[1, 0, 2, 2, 3]] # The input sequence is 'hello' (batch, seq_len)，不同于charater_testRNN 和 BasicRNN 中的方式 y_data = [3, 1, 2, 3, 2] # The output sequence i
rnn_embedding_1.py
02-23
rnn_embedding_1.py
RNN标准模型及其变种
weixin_42421001的博客
08-12 4528
1.概念：RNN又名循环神经网络，是一类处理序列数据的神经网络，这个序列数据不只包括时间序列，还有文字序列等，即序列数据中后面的数据与前面的数据有关系 2.结构： 如上图所示，左边为RNN折叠图，右边为展开图。与基础的神经网络相比，RNN的不同之处在于在隐层之间的神经元之间也建立了权连接，随着序列的不断推进，隐层的前部将会通过W权连接影响到后部。 3.特点 （1）能够处理序列化数据，隐...
RNN循环神经网络——embedding的理解
plus_left的博客
10-31 3785
RNN中Embedding的一些理解一、RNN 循环神经网络1. 1循环核：1.2 循环核按时间步展开1.3循环计算层二、tf描述一个循环计算层2.1基本函数2.1进入RNN时，x_train的维度2.3循环计算过程三、Embedding编码代替独热码3.1思想：3.2代码实现：3.3参数理解感谢北京大学曹健老师的《tensorflow笔记》，收益良多，基本属于课上内容，搬砖至此，作为笔记。 一、RNN 循环神经网络 以实现连续数据预测为例，在这里先引入几个概念 1. 1循环核： 具有记忆力，通过不同时刻
RNN（embedding编码、LSTM、GRU）
799喵的博客
07-31 552
三个门限：它们都是当前时刻的输入特征 xt 和上一时刻的短期记忆的 ht-1 的函数。wi，wo ，wf 是待训练参数矩阵，bi，bo，bf 是待训练参数矩阵。它们都经过sigmoid激活函数使门限的范围在0-1之间。细胞态表示长期记忆，等于上个时刻的长期记忆 Ct-1 乘以遗忘门 + 当前时刻归纳出的新知识*输入门。（通俗讲：过去记忆留存下的知识+新知识）记忆体表示短期记忆，属于长期记忆的一部分。
【Embedding合集】使用LSTM模型实现对行为序列数据的Embeding
qq_41081716的博客
12-17 200
LSTM是一种递归神经网络（RNN）的变种，能够有效地捕捉和建模序列数据中的长期依赖关系。LSTM模型具有记忆单元和门控机制，可以根据序列中的上下文信息自适应地存储和遗忘信息，从而更好地处理序列中的长期依赖。Embedding后的数据可用于计算用户行为序列的相似性，对付费、流失等行为进行精准预测。【Embedding合集】使用LSTM模型实现对行为序列数据的Embeding¶。使用LSTM模型实现对不定长的序列数据的Embedding。
RNN 、LSTM、 GRU、Bi-LSTM 等常见循环网络结构以及其Pytorch实现
MirrorN的博客
03-19 8897
这篇文章主要是对之前一段时间里接触到的 循环神经网络 的相关知识进行一些总结，包括个人觉得初学难理解或者需要注意的问题和如何使用Pytorch的相关函数。由于这些经典结构网上资料很多，所以一些通识不再陈述，偏重代码部分。 文章目录1.RNN2.LSTM3. GRU4. Multi-Layers-LSTM4. Bi-LSTM5.参考 1.RNN 很多问题都归结于序列信息的处理，例如 speech r...
LSTM、GRU、Bi-LSTM：RNN模型变种详解，提升模型性能的利器
[LSTM、GRU、Bi-LSTM：RNN模型变种详解，提升模型性能的利器](https://ciberseguridadmax.com/wp-content/uploads/2023/12/Redes-Neuronales-LSTM.jpg) # 1. 循环神经网络（RNN）基础 循环神经网络（RNN）是一种...
论文笔记：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
MirrorN的博客
10-10 1478
论文学习：Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation 这篇论文算是 Seq2Seq（Sequenc to Sequence） 的经典论文了。文中提出了一种新的RNN模型结构用于机器翻译等工作，此外，作为LSTM单元的变种和简化版本 GRU 单元也是在文章中...
Embedding和LSTM(5)
Alla
08-19 434
来源：北京大学Tensorflow2.0(B站搜)
RNN及其变体（LSTM、GRU）的介绍
Yanir的博客
03-25 2747
先打个岔，区分一下recurrent neural network循环神经网络和recursive neural network递归神经网络。 recurrent: 时间维度的展开，代表信息在时间维度从前往后的的传递和积累，可以类比markov假设，后面的信息的概率建立在前面信息的基础上，在神经网络结构上表现为后面的神经网络的隐藏层的输入是前面的神经网络的隐藏层的输出； recursive: 空间维度的展开，是一个树结构，比如nlp里某句话，用recurrent neural network来建模的话就
经典的lstm(Embedding)的例子
nyist_yangguang的博客
05-17 1295
from torch.autograd import Variable as V import torch as t from torch import nn n, d, m = 3, 5, 7 embedding = nn.Embedding(n, d, max_norm=True) W = t.randn((m, d), requires_grad=True) idx = t.tensor([1, 2]) a = embedding.weight.clone() @ W.t() # w...
【ML&DL学习】19 rnn embedding padding pooling
WMXNLFD的博客
03-16 322
1
embedding、LSTM、seq2seq+attention的知识总结
weixin_40982849的博客
10-05 752
一、 embedding 1. input : [ seqlen , batchsize ] 2. output: [ seq_len, batchsize, embed_dim ] 二、 LSTM 输入： 1. input: [ seq_len, batch, input_size] 2. h0 : [ num_layers * num_directions,batch_size,hidden_size ] 输出： 1. out: [ seq_len, batch, num_directions
【ML&DL学习】20 rnn embedding text generation
WMXNLFD的博客
03-18 228
模型建立 embedding_dim = 16 batch_size = 512 single_rnn_model = keras.models.Sequential([ # 1. define matrix: [vocab_size, embedding_dim] # 2. [1,2,3,4..], max_length * embedding_dim # 3. bat...
nn模块中的LSTM与Embedding
fly_Xiaoma的博客
03-05 2359
1.LSTM RNN和RNNcell层的区别在于前者能够处理整个序列，而后者一次只处理序列中一个时间点的数据，前者封装更完备易于使用，后者更具灵活性。RNN层可以通过组合调用RNNCell来实现。 例1：RNN import torch as t from torch.autograd import Variable as V import torch.nn as nn t.manual_...
Bi-directional
最新发布
08-14
双向词嵌入（bi-directional embeddings）是一种自然语言处理技术，它考虑了单词在其上下文中的双向信息。传统的词嵌入通常是单向的，只考虑一个单词与它前面或后面的词语之间的关系。然而，双向词嵌入模型如LSTM（Long Short-Term Memory）或GRU（Gated Recurrent Unit）允许模型同时考虑前方和后方的上下文，这通常通过两个独立但共享权重的RNN层实现。 举个例子，假设我们有句子"the cat sat on the mat"，在双向词嵌入中，不仅会计算"cat"与"sat"的关系，还会计算"cat"与"mat"的关系，这样可以更准确地捕捉到语义信息[^4]。 ```python from keras.preprocessing.sequence import pad_sequences from keras.layers import Bidirectional, Embedding # 假设我们有一个单词序列 words = ["the", "cat", "sat", "on", "the", "mat"] sequences = [[word_index[w] for w in sentence] for sentence in words] # 创建双向词嵌入层 model = Sequential() model.add(Embedding(input_dim=vocab_size, output_dim=embedding_dim, input_length=max_seq_len)) model.add(Bidirectional(LSTM(units=lstm_units))) # 使用模型对输入序列进行处理 embbedings = model.predict(pad_sequences(sequences)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值