【学习】从零入门Transformer

最新推荐文章于 2024-06-01 20:10:51 发布
最新推荐文章于 2024-06-01 20:10:51 发布
阅读量2k 收藏 12
点赞数 2
分类专栏： 论文阅读 文章标签： Transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wqwqqwqw1231/article/details/115179188
版权

文章目录

本文记录一下从0入门Transformer的过程

https://zhuanlan.zhihu.com/p/31547842

Transformer之前

说到Transformer，就离不开NLP，就离不开Seq2Seq，毕竟transformer一开始也是和Seq2Seq结合用的。

RNN & NLP

这里先放两个RNN在NLP中的应用，了解一下RNN

1、根据人名判断是哪个国家的，也就是单词分类

RNN收到一个字母，输出更新的隐藏状态和预测的国家分类，到了最后一个字母之后，把国家分类拿出来得到最终的预测。这就是Sequence到一个类的任务。

2、根据国家，生成名字

RNN收到一个字母，输出更新的隐藏状态和预测下一个字母。直到输出终止符，将之前的所有字母合起来，就是最终生成的名字。这是一个状态到Sequence的任务

Seq2Seq

文章：Sequence to Sequence Learning with Neural Networks

其实有了上面两个任务的基础，就理解Seq2Seq是怎么做的了。对输入Seq进行编码，把其中每个单词或者每个字母按顺序输入到RNN中，最终可以得到一个隐藏状态，这个RNN就叫Encoder。然后用这个隐藏状态输入到Decoder中，按照生成名字的方法依次输出预测的单词或者字母，生成输出的Seq。

在这里插入图片描述
那么这就有个问题：从第一个词到最后一个词，走了这么久，隐藏状态到底能不能记得住这么多东西呢？能不能有效的找到输出Seq中第j个词到底和输入Seq中的哪个词关系比较大呢？

这就引出了Attention，目的就是学习输出Seq和输入Seq之间的关系，输出Seq不同位置的词是与输入Seq的某些词有关的，只需要关注这些词即可。

Seq2Seq + Attention

仍然是从代码入手，推荐Pytorch的教程。

先看Encoder：
在这里插入图片描述
这里说一下embedding&#x

最低0.47元/天 解锁文章
麒麒哈尔
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
零基础入门实战深度学习Pytorc
03-24
掌握基础后，可以探索更高级的主题，如迁移学习、卷积神经网络（CNN）、循环神经网络（RNN）、注意力机制、Transformer模型、对抗性训练等。同时，PyTorch社区提供了丰富的资源和工具，如torchtext用于自然语言处理...
零基础入门NLP.pdf
08-12
该教程由阿里天池发起，结合了《零基础入门NLP之新闻文本分类》的比赛，通过实际的新闻文本分类任务，让学习者能够理论联系实践，快速入门NLP。 Task1 赛题理解主要介绍了NLP的基本概念以及比赛的目标。学习者需要...
真小白，零基础Transformer代码解析
QM19900420的博客
11-13 2766
Transformer is the first transduction model relying entirely on self-attention to compute representations of its input and output without using sequence aligned RNNs or convolution。
Transformer入门（一）——结构
yeen123的博客
06-02 8539
Transformer入门介绍篇，分别介绍了Transformer的总体结构与每个模块的实现原理
Transformer从0到1的学习【还有2-10，别想太多】
最新发布
weixin_57128596的博客
06-01 732
我爱你”作为编码器Encoders的输入进行编码得到序列码后，作为解码器的输入得到输出即为，“I Love you”。左边的编码器Encoders的数量会 x n倍，而右侧的解码器Decoders与左侧同理，即为n相同；在架构方面，编码器数量虽然有 n 个，但是他们各自的参数是不相同的【架构相同，参数不同】，同理解码器亦是如此【类似与CNN】。
Transformer 初学者入门
LuciferXD的博客
02-06 2140
Attention is all you need 文章概述以及Transformer入门内容，通俗易懂
从零实现Transformer的简易版与强大版：从300多行到3000多行
热门推荐
结构之法 算法之道
04-12 3万+
transformer强大到什么程度呢，基本是17年之后绝大部分有影响力模型的基础架构都基于的transformer(比如，有200来个，包括且不限于基于decode的GPT、基于encode的BERT、基于encode-decode的T5等等)通过博客内的这篇文章《》，我们已经详细了解了transformer的原理(如果忘了，建议先务必复习下再看本文)
小白入门机器学习笔记之Transformer
weixin_63555845的博客
08-01 221
在学习transformer的时候看过很多个视频，包括原理介绍，论文讲解，代码讲解，但是一动手就忘记，偶尔看到一个博主的文章，写的很好就做了下笔记，如果看不懂可以去看看原文。博主叫：Stink1995
Transformer小白入门
嗑研狗的日常
07-26 3200
Transformer小白入门 一、举例说明Transformer的整体工作原理 \quad 首先将这个模型看成是一个黑箱操作。在机器翻译中，就是输入一种语言，输出另一种语言。 \quad 那么拆开这个黑箱，我们可以看到它是由编码组件、解码组件和它们之间的连接组成。 \quad 编码组件部分由一堆编码器（encoder）构成（论文中是将6个编码器叠在一起——数字6没有什么神奇之处，你也可以尝试其他数字）。解码组件部分也是由相同数量（与编码器对应）的解码器（decoder）组成的。 \quad 最后一层
Transformer Tutorials 最全入门详细解释（一）
weixin_50920579的博客
03-23 1064
你可以简单理解为它是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文。那么在这个黑盒子里面都有什么呢？里面主要有两部分组成：Encoder 和 Decoder当我输入一个文本的时候，该文本数据会先经过一个叫Encoders的模块，对该文本进行编码，然后将编码后的数据再传入一个叫Decoders的模块进行解码，解码后就得到了翻译后的文本，对应的我们称Encoders为编码器，Decoders为解码器。
深度学习入门专栏的所有代码
04-17
总之，这个“深度学习入门专栏的所有代码”集合为学习者提供了一个从零开始探索深度学习的实践平台。通过逐行阅读、运行和修改这些代码，你可以逐步掌握深度学习的核心概念和技术，从而迈入人工智能的广阔天地。
阿里天池-零基础入门NLP - 新闻文本分类
07-04
在这个阿里天池提供的零基础入门教程中，我们将深入探讨如何利用NLP技术来实现这一目标。这个项目可能涵盖了从数据预处理、模型选择到模型训练和评估的完整流程。 首先，我们要理解NLP的基础概念。NLP是计算机科学...
PyTorch从零到一个：PyTorch从入门到精通
02-04
《PyTorch从零到一个：PyTorch从入门到精通》是一份全面的教程，旨在帮助初学者和有经验的开发者深入理解并熟练运用PyTorch这一强大的深度学习框架。PyTorch以其动态计算图和易用性而受到广大研究者和工程师的喜爱。...
Transformer自学笔记（李宏毅课：Self-attention+Transformer）
weixin_51355226的博客
03-26 1304
用作自己学习，目前在学transomer，做一些笔记
Transformer学习总结——原理篇
忆殇D.Rose的博客
08-27 1050
文章目录Transformer学习总结1. 整体结构2. Self-Attention2.1 为什么选择Self-Attention2.2 Self-Attention结构2.3 Scaled Dot-Production Attetntion2.4 Multi-Head Attention3. The Residual Connection 残差连接4. Positional Encoding5...
Transformer学习路线
m0_48096446的博客
10-18 228
选择一种主流的深度学习框架，例如PyTorch或TensorFlow，并学会如何在其中实现和训练Transformer模型。如果你有特定的应用领域（如机器翻译、文本生成、情感分析等）的兴趣，深入研究在该领域中如何应用Transformer模型。通过实践编写代码来构建一个简单的Transformer模型，例如使用它来进行机器翻译或文本生成任务。加入深度学习或NLP的在线社区（例如论坛、博客、社交媒体群组），与其他学习者和专家交流经验和知识。深入研究与Transformer相关的研究论文，了解其扩展和改进。
使用Pytorch从零开始构建Transformer
GarryWang1248的博客
11-18 676
在本教程中，我们将使用 PyTorch 从头开始​​构建一个基本的 Transformer 模型。Vaswani 等人提出的 Transformer 模型。在论文“Attention is All You Need”中，是一种专为序列到序列任务（例如机器翻译和文本摘要）而设计的深度学习架构。它基于自注意力机制，已成为许多最先进的自然语言处理模型（如 GPT 和 BERT）的基础。让我们首先导入必要的库和模块。现在，我们将定义 Transformer 模型的基本构建块。
熬了一晚上，我从零实现了Transformer模型，把代码讲给你听
zandaoguang的博客
10-11 2285
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨伟大是熬出来的@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/411311520编...
Transformer 模型：入门详解（1）
冷冻工厂
03-04 1115
动动发财的小手，点个赞吧！ 简介 众所周知，transformer 架构是自然语言处理 (NLP) 领域的一项突破。它克服了 seq-to-seq 模型（如 RNN 等）无法捕获文本中的长期依赖性的局限性。事实证明，transformer 架构是 BERT、GPT 和 T5 及其变体等革命性架构的基石。正如许多人所说，NLP 正处于黄金时代，可以说 transformer 模型是一切的起点。 1. Transformer 架构 如前所述，需要是发明之母。传统的 seq-to-seq 模型在处理长文本时表现不
NLP系统化教程，包含pytorch的使用，云服务器的使用，NLP入门，文本预处理，RNN经典案例，Trasformer等等
03-12
这本NLP系统化教程的电子书旨在为初学者提供全面的NLP入门指南，并引导他们逐步掌握使用PyTorch和云服务器进行NLP任务开发的技能。无论您是想了解NLP的基础知识，还是希望深入了解文本预处理、经典RNN案例和Transformer模型，本书都将为您提供适用的知识和实践经验。 主要内容： NLP入门：本书首先介绍了NLP的基本概念和常见任务，如文本分类、命名实体识别和情感分析。您将了解NLP的核心技术和应用领域，并了解如何使用常见的NLP工具和库。 PyTorch的使用：作为一种流行的深度学习框架，PyTorch在NLP任务中具有广泛的应用。本书将引导您了解PyTorch的基本概念和语法，并演示如何构建和训练NLP模型。您将学会使用PyTorch中的各种模块和技术来处理文本数据，并将其应用于NLP任务。 文本预处理：在NLP任务中，文本数据的预处理是非常重要的一步。本书将详细介绍各种文本预处理技术，包括分词、词向量表示、停用词去除和数据清洗等。您将学会如何规范化和准备文本数据以供后续的NLP建模和分析使用。 还有RNN经典案例，bert教学，Transformer教学等等

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值