Transformer实战（3）——从词袋模型到Transformer：NLP技术演进

已于 2025-11-27 17:05:33 修改
阅读量8.9k 收藏 95
点赞数 98
CC 4.0 BY-SA版权
分类专栏： Transformer从入门到项目实战 文章标签： transformer 自然语言处理 深度学习
于 2025-06-14 13:09:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LOVEmy134611/article/details/147516752

Transformer实战（3）——从词袋模型到Transformer：NLP技术演进

0. 前言

在过去数年间，自然语言处理 (Natural Language Processing, NLP) 领域已经取得了突破性进展。经历了多个不同的范式，进入了 Transformer 架构时代。我们能够更加有效地表示单词或句子，从而解决 NLP 任务。另一方面，文本输入与其他模态(如图像)的融合应用也逐渐兴起。对话式人工智能 (Artificial Intelligence, AI) 迎来了一个新的时代，开发出了能够像人类一样回答问题、描述概念，甚至一步步解决数学方程式的聊天机器人。毫无疑问，Transformer 模型是这一巨大进步的关键因素之一。
寻找不同自然语言之间、自然语言与图像之间、自然语言与编程语言之间，甚至更广泛地，自然语言与任何其他模态之间的跨语义理解，为我们打开了一扇新大门，使我们能够将自然语言作为主要输入，执行人工智能领域中的许多复杂任务。最简单的例子是，通过简单描述我们想要在图片中寻找的内容，模型就能给出正确结果。

多模态模型

模型通过持续学习和改进，逐渐能够用于处理不同任务。最初，使用分布式语义和 n-gram 语言模型理解单词和文档的意义，这些方法存在一些局限性。另一方面，随着新的跨模态技术的兴起，新的语言模型训练方法，特别

了解本专栏 订阅专栏 解锁全文
NLP - Transformer
AI工程化、开源分享、文档翻译、代码笔记
03-23 635
文章目录Transformer 总体架构计算注意力单头注意力 & 多头注意力词向量编码MaskPAD MASK上三角 MASK完整计算过程Encoder实验数据生成策略 学习自：蓝斯诺特 Transformer简明教程, 从理论到代码实现到项目实战, NLP进阶必知必会. https://www.bilibili.com/video/BV19Y411b7qx https://github.com/lansinuote/Transformer_Example RNN 缺点 能够处理的信息复杂度
Transformer实战（19）——微调Transformer语言模型进行词元分类
盼小辉丶的博客
09-20 2317
在本节中，我们将学习如何对语言模型进行微调，以适应词元分类任务。我们将探索命名实体识别 (NER)、词性标注 (POS) 和问答 (QA) 等任务，并了解如何针对这些任务微调特定的语言模型。我们将重点介绍 BERT 模型，学习如何微调 BERT 应用于 POS、NER 和 QA 任务，并熟悉这些任务的实现细节，包括所用数据集及执行过程。通过本节的学习，将能够使用 transformers 库执行各种词元分类任务。
Transformer算法组件详解
qq_32907491的博客
05-01 1515
Transformer是谷歌在2017年的论文《Attention Is All You Need》中提出的，用于NLP的各项任务，现在是谷歌云TPU推荐的参考模型。网上有关Transformer原理的介绍很多，在本文中我们将尽量模型简化，让普通读者也能轻松理解。Transformer由于可并行、效果好等特点，如今已经成为机器翻译、特征抽取等任务的基础模块，目前ChatGPT特征抽取的模块用的就是Transformer，这对于后面理解ChatGPT的原理做了好的铺垫。
自然语言处理（NLP）：Transformer 原理与 BERT 文本分类实战
最新发布
2501_93895120的博客
10-30 936
BERT（Bidirectional Encoder Representations from Transformers）由 Devlin 等人在 2018 年提出。它基于 Transformer 编码器，通过双向上下文预训练，学习通用语言表示。关键创新双向上下文：传统语言模型（如 ELMo）单向处理文本，BERT 同时利用左右上下文，捕捉更丰富语义。预训练任务掩码语言模型（MLM）：随机掩盖输入词（如 15%），预测被掩盖词。损失函数为交叉熵。下一句预测（NSP）
NLP 之 transformer
robustness博客
01-10 748
1 Transformer模型 Transformer由论文《Attention is All You Need》提出，现在是谷歌云TPU推荐的参考模型。 Transformer模型是2018年5月提出的，可以替代传统RNN和CNN的一种新的架构，用来实现机器翻译，论文名称是attention is all you need。无论是RNN还是CNN，在处理NLP任务时都有缺陷。CNN是其先天的卷积...
NLP之Transformer
Ton的博客
03-10 2082
总体来看，Transformer这个模型架构还是遵循着Encoder-Decoder的格式。此外，Transformer由注意力机制模块组成，因此在学习Transformer之前有必要对注意力机制有个了解(点这里)。 参考文档： ①：Transformer模型的PyTorch实现 TransformerSelf-attentionScaled dot-product attentionMulti-head self-attentionResidual connectionPositional Encodi.
【详解】NLP之Transformer详解
LeeZhao的博客
06-24 2232
Transformer详解 Attention is all you need 是一篇将 Attention 思想发挥到极致的论文，出自 Google。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN (其实也不完全是，还是用到了一维卷积)。这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。 参考资料： Transformer 模型的 PyTorch 实现 《Attention is All You Need》
从词袋模型到Transformer模型：自然语言处理的演进
# 从词袋模型到Transformer模型：自然语言处理的演进 ## 1. 自然语言处理的发展现状 过去二十年里，自然语言处理（NLP）领域取得了显著进展，如今已进入Transformer架构时代。这些进步让我们能更有效地表示单词或...
Transformer实战（13）——从零开始训练GPT-2语言模型
盼小辉丶的博客
08-24 4718
在自然语言处理领域，GPT-2 作为 Transformer 架构的重要代表，展现了强大的文本生成能力。本节以 GPT-2 为例，介绍如何在自定义的文本数据集上预训练语言模型，并将其用于自然语言生成 (Natural Language Generation, NLG) 等任务。我们将以简·奥斯汀的经典小说《爱玛》作为训练语料，通过 Hugging Face 的 transformers 库，详细介绍从数据准备、分词器训练到模型训练和文本生成的全流程。
Transformer介绍及架构解析
码python的Vinsmoke
11-03 3845
第一章:Transformer背景介绍 1.1 Transformer的诞生 2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩! 论文地址: https://arxiv.org/pdf/1810.04805.pdf 而在BERT中发挥重要作用的结构就是Transformer..
NLP---Transformer
逗逗的博客
07-26 608
参考：https://blog.csdn.net/han_xiaoyang/article/details/86560459 https://jalammar.github.io/illustrated-transformer/ 以下仅为个人学习笔记 1. 简介 Google于2017年在论文Attention is All You Need中提出。 论文地址：https://arxiv.o...
NLP_Transformer架构
weixin_42504788的博客
02-16 2720
NLP_搭建GPT核心组件Transformer
NLP模型（五）——Transformer模型介绍
ifhuke的博客
09-01 779
Transformer的各个结构的介绍
NLP学习之transformer
weixin_42027200的博客
12-30 317
Transformer的本质上是一个Encoder-Decoder的结构。 编码器由6个编码block组成，同样解码器是6个解码block组成。与所有的生成模型相同的是，编码器的输出会作为解码器的输入。 Encoder由N=6个相同的layer组成，layer指的就是上图左侧的单元，最左边有个“Nx”，这里是x6个。每个Layer由两个sub-layer组成，分别是multi-head self-attention mechanism和fully connected feed-forward network
NLP——Transformer
Xyz_Overlord的博客
08-02 886
传入数据经过线性变换得到[2,4,512]，通过view函数切8个头得到[2,4,8,64]，通过transpose交换1和2位置得到[2,8,4,64]，再经过注意力机制函数得到[2,8,4,64]，再次使用transpose交换得到[2,4,8,64]，最后通过view函数合并多头得到[2,4,512]送入下一线性变化。上图就是构造的一个残差块，X是输入值，F（X）是经过第一层线性变换后并且激活的输出，在第二层线性变化之后，激活之前，F（X）加入了这一层输入值X，然后再进行激活后输出。
nlp之transformer
GeekPlusA的博客
07-07 235
人工智能的发展大概可以分为四个阶段 第一个阶段：运算智能，主要体现在记忆和计算 第二个阶段：感知智能，主要体现在听觉、视觉、触觉 第三个阶段：认知智能，具体体现在语言、知识、推理方面 第四个阶段：创造智能 transformer@[TOC](transformer)1. encoder2. decoder问题 1. encoder 2. decoder 问题 Transformer为何使用多头注意力机制？（为什么不使用一个头） Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同.
【自学】Transformer——NLP、计算机视觉常见算法模型
Wendy030的博客
10-13 2484
什么是Transformer？RNN擅长捕捉序列关系，因此它可以用于处理机器翻译模型。但翻译时句子间的单词数量并非是一一对应的，受限于结构。后来人们找到了Seq2Seq拥有一个编码器Encoder和解码器Decoder。再后来人们找到了一种称为“Attention”的注意力机制，为了解决计算慢速的问题，人们进一步找到了自注意机制，此时模型已经由原来的RNN结构演变成现在基于Self-Attention且拥有一个Encoder和一个Decoder的模型，即Transformer。
NLP中的transformer实现
helldoger的博客
05-22 1247
bert是流行的NLP模型,在学习bert前,要清楚attention,transformer是什么
评论 81
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盼小辉丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值