【全面了解自然语言处理三大特征提取器】RNN（LSTM）、transformer（注意力机制）、CNN

置顶 已于 2025-03-06 21:22:36 修改
阅读量4.9k 收藏 63
点赞数 35
文章标签： rnn 自然语言处理 lstm
于 2024-03-17 19:11:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45929355/article/details/136616516
版权
本文介绍了RNN、LSTM和Transformer在自然语言处理中的应用，探讨了它们的基本结构、工作原理、优点与缺点，重点强调了LSTM如何解决RNN的梯度问题，以及Transformer的并行性和长距离依赖处理能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

自然语言处理（NLP）是人工智能领域中一个重要的分支，它的目的是让计算机能够理解和处理人类语言，而特征提取是让计算机理解和处理人类语言时必不可少的过程，除了数据的因素，一个特征抽取器是否适配问题领域的特点，有时候决定了它的成败，而很多模型改进的方向，其实就是改造得使得它更匹配领域问题的特性（引自张俊林老师的文章）。
下面本文从基本结构、工作原理、优缺点和适用场景具体介绍一下这三个主要的特征提取器

一 、RNN

循环神经网络或递归神经网络。顾名思义，RNN在处理序列信息时（比如一段文本）是递归进行，即下一时刻的处理依赖于上一时刻的结果。
即：不同于传统的神经网络结构，RNN隐藏层之间的节点不再无连接而是有连接的。

1.RNN单个cell的结构

参考

在这里插入图片描述
可以看到当前时刻的输出 y^t 和隐藏层状态 a^t 依赖于当前时刻的输入 x^t 和上一时刻的隐藏层状态 a^t-1

2.RNN工作原理

在这里插入图片描述

其中一个cell对应于RNN单个细胞的结构，对于上图中的文本翻译问题，输出接收最后一层每个时刻隐藏层的状态，但是对于分类问题，输出只接受最后一层最后一个时刻的隐藏层状态。

3.RNN优缺点

  • 优点：

    1. RNN能够有效地处理序列数据
    2. 由于权重共享，RNN在内存使用上比全连接网络高效

  • 缺点

    1. 梯度消失和梯度爆炸： 在学习长序列时，RNN容易遇到梯度消失或梯度爆
最低0.47元/天 解锁文章
D_klein
关注
【Pytorch项目实战】之自然语言处理：RNN、LSTM、GRU、Transformer
shinuone的博客
01-28 2565
其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 的顺序网络结构，使得模型可以并行化训练，而且能够充分利用训练资料的全局信息，加入Transformer的Seq2seq模型在NLP的各个任务上都有了显著的提升。当人视觉在感知东西时候往往会更加关注某个场景中显著性的物体，为了合理利用有限的视觉信息处理资源，人需要选择视觉区域中的特定部分，然后集中关注它。：CNN的输入图像大小固定，而在语音识别中，每句话的长度都是不一样的，且一句话的前后也是有关系的。可以捕获一个序列的信息。
注意力机制与LSTM的结合
AI天才研究院
04-26 2413
长短期记忆网络（LSTM）是一种特殊类型的循环神经网络（RNN），能够学习长期依赖关系。LSTM在许多序列建模任务中表现出色，如语言建模、机器翻译、语音识别等。然而，在处理较长序列时，LSTM可能难以捕捉远距离的相关信息。注意力机制（Attention Mechanism）是一种允许模型在生成每个元素时都聚焦于输入序列中与当前输出最相关的部分的技术。通过引入注意力机制，模型能够更好地处理长序列，提高了模型的表现力和泛化能力。将注意力机制与LSTM相结合，能够使模型在生成序列的每个时间步，根据当前的隐藏状态和
一文搞懂NLP框架之RNN、LSTM、Transformer结构原理！
穿着帆布鞋也能走猫步
04-09 4449
NLP领域中，特征提取可谓是经历了显著的“变迁”与发展。回首过往，RNN曾以其一度引领潮流，如今正如同明日黄花，逐步淡出历史舞台。紧接着，LSTM以展现出强大的生命力，虽已非最前沿，却仍老骥伏枥，若能进一步优化，其潜力不可小觑。而今，Transformer架构如日中天，凭借自注意力机制彻底革新了特征提取的方法，已在NLP诸多任务中发挥着中流砥柱的作用。本文笔者将深入浅出剖析RNN、LSTM以及Transformer的核心结构原理，一起见证算法是怎样做到一浪更比一浪强的。
神经网络结构——CNN、RNN、LSTM、Transformer ！！
不要给自己设限，尝试更多可能（思所向 皆可往）
03-04 2万+
本文将从什么是CNN？什么是RNN？什么是LSTM？什么是Transformer？四个问题，简单介绍神经网络结构。神经网络结构通过卷积和池化操作有效地处理高维图像数据，降低计算复杂度，并提取关键特征进行识别和分类。网络结构用来提取图像的局部特征。用来大幅降低参数量级，实现数据降维。用来输出想要的结果。卷积神经网络（CNN）解决问题卷积操作提取图像特征，如边缘、纹理等，保留图像特征。池化操作大幅降低参数量级，实现数据降维，大大减少运算量，避免过拟合。工作原理。
10分钟理解RNN、LSTM、Transformer结构原理！
不积跬步，无以至千里！
07-11 8428
RNN、LSTM、Transformer 经典结构解析！
RNN&LSTM&Transformer&CNN
weixin_45928096的博客
03-22 4126
对于图片分类，输入的每张图往往都是独立的，前后无关，这时CNN就够了。 但是对于很多语言类的问题，输入的语境和语序都是很重要的此时要用到RNN，RNN考虑了时序的变化，让神经网络有了某种记忆的能力。 即普通RNN无法回忆起久远记忆的原因：梯度消失或者梯度爆炸，所以提出了LSTM，实质是：过滤重要特征 忽略无关信息 可以形象地理解为LSTM加了一个日记本。多出了三个控制器：输入、输出、忘记 在Transformer中，编码器&解码器架构表现得最好。transformer的优点是对大数据适配能力强
【Transformer】关于RNN以及transformer的相关介绍
Q20011102的博客
08-09 1312
介绍RNN以及Transformer
放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较
热门推荐
张俊林的博客
01-15 2万+
                                          author:张俊林                                   /*可以转载，转载请标明作者及知乎的出处*/ 如果看不清图片，请转到：放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较   在辞旧迎新的时刻，大家都在忙着回顾过去一年的成...
【模型架构】学习RNN、LSTM、TextCNN和Transformer以及PyTorch代码实现
cjy_colorful0806的博客
05-31 1904
在自然语言处理（NLP）领域，模型架构的不断发展极大地推动了技术的进步。从早期的循环神经网络（RNN）到长短期记忆网络（LSTM）、Transformer再到当下火热的Mamba（放在下一节），每一种架构都带来了不同的突破和应用。本文将详细介绍这些经典的模型架构及其在PyTorch中的实现，由于我只是门外汉（想扩展一下知识面），如果有理解不到位的地方欢迎评论指正～。个人感觉NLP的任务本质上是一个序列到序列的过程，给定输入序列，要通过一个函数实现映射，得到输出序列。
厉害了，LSTM+Transformer王炸创新，精准度又高了！
m0_59235945的博客
08-23 3453
（LSTM）的时序建模能力与Transformer的强大上下文表示能力相结合，显著提升了模型在处理复杂时序数据和自然语言处理任务中的表现。技术在文本生成、机器翻译和时间序列预测等多个领域展示了其潜力和有效性，其创新的方法和良好的表现使其成为研究的热点之一。为了帮助大家全面掌握的方法并寻找创新点，本文总结了的研究成果，这些论文的文章、来源以及论文的代码都整理好了，希望能为各位的研究工作提供有价值的参考。
关于自然语言中特征提取
weixin_39932942的博客
06-24 372
在自然语言处理（NLP）中，特征提取是将文本数据转换为数值特征的过程，以便于机器学习算法进行处理和分析。特征提取在文本分类、情感分析、信息检索等任务中非常重要。下面介绍几种常用的文本特征提取方法及其示例代码。
Transformer和LSTM的对比
weixin_43667338的博客
07-18 2147
Transformer和LSTM是两种不同的神经网络结构，主要用于处理序列数据，如自然语言处理、时间序列分析等。它们在结构和处理方式上有显著的区别，各自有其优缺点。以下是详细的对比。
Transformer和RNN区别
真心乖宝宝的博客
07-20 1万+
RNN 顺序处理：句子必须逐字处理 Transformer Transformer不依赖于过去的隐藏状态来捕获对先前单词的依赖性，而是整体上处理一个句子 主要特点是： 1.非顺序处理：句子是整体处理，而不是逐字处理 2. self attention 3. 位置嵌入： ...
深入对比：Transformer与RNN的详细解析
qlkaicx的博客
06-05 4303
RNN和Transformer都是处理序列数据的强大工具，但它们在结构、依赖捕捉、并行化和全局信息捕捉等方面存在显著差异。在实际应用中，我们可以根据任务的特点和需求选择合适的模型。在深度学习领域，特别是在自然语言处理（NLP）中，循环神经网络（RNN）和Transformer模型都扮演着举足轻重的角色。在RNN中，每个时间步的隐藏状态都依赖于前一个时间步的隐藏状态和当前时间步的输入。Transformer是一种基于自注意力机制的模型，它摒弃了RNN的循环结构，完全依赖于自注意力机制来处理序列数据。
深入浅出讲解RNN和Transformer算法
程序星空实验室
03-19 1万+
1.简述 通常，在自然语言生成任务（机器翻译，文本摘要，对话系统等）中，RNN和Transfomer都是常用的算法。下面，我们浅谈下采用RNN和Transformer的区别。 2.RNN模型简介： 相比于词袋模型和前馈神经网络模型，RNN可以考虑到词的先后顺序对预测的影响，RNN包括三个部分：输入层、隐藏层和输出层。相对于前馈神经网络，RNN可以接收上一个时间点的隐藏状态，基本结构图如下： ...
自然语言处理(NLP)-特征提取器(Feature Extractors)：CNN、RNN/LSTM、Transformer
u013250861的博客
07-22 2149
自然语言处理(NLP)-特征提取器：CNN、RNN/LSTM、Transformer
深入对比：Transformer与LSTM的详细解析
qlkaicx的博客
06-05 9421
LSTM和Transformer各自具有独特的优势，并在不同的任务中发挥着重要作用。在深度学习和自然语言处理（NLP）领域，Transformer和长短时记忆网络（LSTM）是两个备受瞩目的模型。LSTM是一种特殊的循环神经网络（RNN），旨在解决传统RNN在处理长序列时遇到的梯度消失和梯度爆炸问题。Transformer是一种基于自注意力机制的模型，它摒弃了RNN的循环结构，完全依赖于自注意力机制来处理序列数据。Transformer在多个NLP任务中都取得了显著的效果，尤其是在机器翻译等任务中。
【DL】Transformer与LSTM的区别和联系
墨门
01-27 3640
Transformer和LSTM的最大区别,就是LSTM的训练是迭代的，是一个接一个字的来,当前这个字过完LSTM单元,才可以进下一个字，而Transformer的训练是并行了,就是所有字是全部同时训练的，这样就大大加快了计算效率（并行性的优势）；Transformer从作用上可以看作是大型MLP的变体，也就是说其输入是同时输入的；LSTM的基本思想是时序模型，也就是说，在。
cnn，rnn，lstm，gan、transformer
最新发布
04-04
### 各种深度学习模型的工作原理与应用场景 #### 卷积神经网络（CNN） 卷积神经网络是一种专门用于处理具有网格状拓扑的数据的神经网络架构，特别擅长于图像分类、目标检测等领域。其核心思想在于利用局部感知野和权值共享来减少参数数量并提高计算效率[^2]。 - **工作原理**: CNN主要由卷积层、池化层和全连接层组成。卷积层通过滤波器提取特征；池化层则降低维度以减少过拟合；最后通过全连接层完成分类任务。 - **应用场景**: 图像识别、视频分析、医学影像诊断。 ```python import tensorflow as tf from tensorflow.keras import layers, models model = models.Sequential() model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1))) model.add(layers.MaxPooling2D((2, 2))) model.add(layers.Flatten()) model.add(layers.Dense(10)) ``` --- #### 循环神经网络（RNN） 循环神经网络是一种能够捕捉时间序列数据依赖关系的模型，广泛应用于自然语言处理领域。然而，由于梯度消失或爆炸问题，传统的RNN难以处理较长的时间序列数据[^3]。 - **工作原理**: RNN的核心特点是隐藏状态会传递到下一个时刻，形成一种“记忆”。这种特性使其可以建模动态时序行为。 - **应用场景**: 文本生成、情感分析、手写体识别。 --- #### 长短时记忆网络（LSTM） 作为一种改进版的RNN，LSTM通过引入输入门、遗忘门和输出门三种门控机制，成功克服了传统RNN存在的梯度消失问题，非常适合处理长期依赖的任务。 - **工作原理**: LSTM单元内部维护了一个细胞状态，并借助上述三类门控结构决定何时更新、保留或者释放信息。 - **应用场景**: 股票价格预测、语音合成、机器翻译。 ```python from tensorflow.keras.layers import LSTM lstm_layer = LSTM(units=64, return_sequences=True) ``` --- #### 生成对抗网络（GAN） 生成对抗网络由生成器和判别器两部分构成，二者相互竞争又共同进化，最终实现高质量样本的生成[^1]。 - **工作原理**: 判别器负责区分真实数据与伪造数据，而生成器试图欺骗判别器接受虚假样本。经过多次迭代优化后，生成器可生成接近真实的样本。 - **应用场景**: 图像超分辨率重建、风格迁移、虚拟人物创建。 ```python import torch.nn as nn class Generator(nn.Module): def __init__(self): super().__init__() self.main = nn.Sequential( nn.Linear(100, 256), nn.ReLU(), nn.Linear(256, 784), nn.Tanh() ) def forward(self, x): return self.main(x) ``` --- #### Transformer Transformer摒弃了以往基于RNN的设计思路，转而采用自注意力机制（Self-Attention Mechanism），极大地提升了并行计算能力以及长距离上下文关联捕获的能力[^5]。 - **工作原理**: 编码器端接收输入序列并通过多头自注意力建立全局联系；解码器端依据编码结果逐步生成目标序列。整个过程无需顺序执行即可一次性获取全部位置的信息。 - **应用场景**: 自然语言生成、问答系统构建、跨语言翻译服务。 ```python import transformers tokenizer = transformers.BertTokenizer.from_pretrained('bert-base-uncased') model = transformers.BertModel.from_pretrained('bert-base-uncased') inputs = tokenizer("Hello world!", return_tensors="pt") outputs = model(**inputs) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值