完全中文注释的Transformer，附数据处理及运行模拟

最新推荐文章于 2024-05-30 14:31:01 发布
最新推荐文章于 2024-05-30 14:31:01 发布
阅读量69 收藏
点赞数
分类专栏： 机器学习 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27054747/article/details/133974247
版权

完全中文注释的Transformer，附数据处理及运行模拟

学习Transformer时走了非常多的弯路，这里制作了一个pytorch版本图-文-注释-代码对照的Transformer，每个结构都进行了完全的注释，并且还附加了一个中译英的单样本样例分析

这里是部分截图，重要结构都配了示意图，每个结构都有对应的介绍，代码里还有数据运行时的形状注释
在这里插入图片描述

并且附上了一个中译英一个样本的数据流程和对应数据集
还没有写批量训练的代码，有些地方还没想通，如：句子长度不同decoder的输入batch的大小也就不同，那么训练时会不会影响训练速度呢？我想这就是教学版代码的局限性吧，真正训练还是用pytorch提供的Transformer吧，那个更方便一些。这个只是方便学习的
github链接
请一定帮我点星星，真的是非常累，用了两周才制作完成

感谢哈佛贡献的精简且易懂的代码 以下为网址
哈佛Transformer教学代码
感谢知乎 迷途小书僮​ 的中文注释，在我学习时帮助了很多，我重写了注释和文档，并加入自己的理解
知乎Transformer注释

如果觉得不妥，请一定联系我

喻狗蛋
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Transformer系列 _1 数据处理 笔记2021-06-29
qq_38038430的博客
06-29 258
数据处理 课程来源 ： YouTube wangshuseng https://www.youtube.com/watch?v=NWcShtqr8kc&t=0s PPT ： https://github.com/wangshusen/DeepLearning 年龄是数值特征 性别是二分类特征 国籍是分类特征 对国籍进行one-hot encoding ，因为国籍之间是不能表示大小的。 注意将0保留 当作“未知”类别，比如一些缺失的数据。 例子： Why using one-hot
Transformers数据预处理：Preprocessing data
HMT的博客
03-02 2565
数据预处理 Preprocessing data 在transformers中，数据处理的主要工具是文本标记器tokenizer。我们可以使用模型对应的文本标记器类型，也可以直接使用AutoTokenizer自动分类。 文本标记器首先会把文本分割成单词、标点符号等，这些被分割的元素叫作token。然后将token转化为数字，使之能被转化为训练用的张量tensor。除此之外，一些特定的文本标记器还会加上一些模型需要的特殊标记，如BERT中的CLS、SEP。 注意： 如果你要使用预训练模型，你就需要使用该模型
Transformer 动画讲解：数据处理的四大关键步骤
最新发布
机器学习社区
05-30 1240
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。Transformer 大模型，一种基于自注意力机制的神经网络架构，已被广泛应用于各种自然语言处理任务，比如：机器翻译、文本摘要、生成问答等。从端到端的角度来看，Transformer 大模型中数据的处理流程主要包括四个阶段：首先是（Embedding），随后是。
如何处理Transformer模型中的输入数据和特殊标记？
huidhsu的博客
07-08 425
本文介绍了处理Transformer模型输入数据和特殊标记的一些常用策略和方法。在实际应用中，根据任务需求和数据特点，结合合适的处理策略，可以有效地处理输入数据和特殊标记，从而提高Transformer模型的性能和效果。为了正确使用Transformer模型，需要对输入数据进行适当的处理，并了解如何处理特殊标记。本文将介绍一些常用的数据处理策略和特殊标记处理方法，帮助您更好地使用Transformer模型。如何处理Transformer模型中的输入数据和特殊标记？第二部分：特殊标记处理方法。
Transformer: harvardnlp/annotated-transformer 代码理解（二）
wutongxdf的博客
04-24 651
帮助自己更好地理解 Transformer 模型的实现细节
transformer代码复现 +数据集可以直接运行
03-18
transformer代码复现 +数据集可以直接运行
Transformer机器翻译数据集
01-03
机器翻译数据集，使用教程 https://helloai.blog.csdn.net/article/details/135344697
Transformer分类Pytorch 实现 包含数据集和代码 可直接运行.zip
08-27
Transformer分类Pytorch 实现 包含数据集和代码 可直接运行
毕业设计：基于transformer的序列数据二分类完整代码+数据可直接运行.zip
04-17
毕业设计：基于transformer的序列数据二分类完整代码+数据可直接运行
亲测Transformer模型实现长期预测并可视化结果（附代码+数据集+原理介绍）
03-04
这篇文章给大家带来是Transformer在时间序列预测上的应用，这种模型最初是为了处理自然语言处理（NLP）任务而设计的，但由于其独特的架构和能力，它也被用于时间序列分析。Transformer应用于时间序列分析中的基本...
【transformer(11)】入门篇-哈佛Harvard NLP的原作者在2018年初以逐行实现的形式呈现了论文The Annotated Transformer
Hali_Botebie的博客
06-17 1681
由于 Transformer 的使用已经变得普遍，并且我们的实现几乎与原始实现相同，因此我们将省略对模型架构的详尽背景描述，并将读者推荐给 Vaswani (2017) 以及优秀的指南，如“带注释的The Annotated Transformer”。 推荐： http://nlp.seas.harvard.edu/2018/04/03/attention.html Ashish Vaswani, 2017. Attention is all you need. In Advances in Neur
深度了解Transformer【1】
菜鸡AI
05-08 169
深度了解Transformer【1】 前言： Transformer由论文《Attention is All You Need》提出，谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。 本文采取逐一的介绍论文里面的核心概念，希望让普通读者也能轻易理解。 论文下载： Attention is All You Need 论文pdf下载 关注菜鸡Ai公众号，后台回复
【Transformer系列（5）】Transformer代码超详细解读（Pytorch）
路人贾的博客
04-24 7830
手把手教你用pytorch代码实现transformer模型
TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
KI的博客
08-30 1万+
TensorFlow搭建CNN-LSTM混合模型实现多变量多步长时间序列预测（负荷预测）
transformer模型— 20道面试题自我检测
吾在学习路的博客
11-01 3817
Transformer模型采用自注意力机制处理序列数据，与传统的循环神经网络（RNN）和长短时记忆网络（LSTM）不同，它不依赖于序列的递归处理，因此无法直接捕捉到序列中的位置信息。为了解决这个问题，Transformer引入了位置编码（Positional Encoding）的概念，将位置信息添加到模型的输入中。位置编码是一个与词嵌入维度相同的向量，它被加到词嵌入上，以提供关于单词在序列中位置的信息。位置编码的公式如下：对于位置pos和维度i，位置编码的第iPEpos2isin⁡p。
Python 数据归一化、数据标准化、缺失值处理、处理分类型数据、处理连续型数据
程志伟的博客
03-24 2849
关注微信公共号：小程在线 关注CSDN博客：程志伟的博客 Python 3.7.3 (default, Apr 24 2019, 15:29:51) [MSC v.1915 64 bit (AMD64)] Type "copyright", "credits" or "license" for more information. IPython 7.6.1 -- An enhanced In...
Transformer(一)--论文翻译：Attention Is All You Need 中文版
热门推荐
11-15 4万+
Attention Is All Your Need 摘要   主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表...
基于Pytorch的Transformer翻译模型前期数据处理方法
rothschild666的博客
05-11 1410
Google于2017年6月在arxiv上发布了一篇非常经典的文章：Attention is all you need，提出了解决sequence to sequence问题的transformer模型，该文章使用全Attention的结构代替了LSTM，抛弃了之前传统的encoder-decoder模型必须结合CNN或者RNN的固有模式。在减少计算量和提高并行效率的同时还取得了更好的结果，也被评为2017年 NLP 领域的年度最佳论文。
Transformer代码详解（-）-从数据处理到嵌入【包含数据集可构造/数据嵌入和位置嵌入的详解】
小蜗牛的博客
12-05 1578
src_shape=["你好","生日快乐"] tgt_shape=["hello","happy birthday to you"] #1.embeding 先构造数据集，再构造嵌入 batch_size=2 #以两条样本为例 src_shape=torch.Tensor([2,4]).to(torch.int32) #源：第一个样本长度为2 第二个样本长度为4 你好 生日快乐 tgt_shape=torch.Tensor(...
transformer数据处理
10-08
Transformer 模型在自然语言处理任务中广泛应用，数据处理是构建 Transformer 模型的重要步骤之一。下面是一些常见的 Transformer 数据处理方法： 1. 分词（Tokenization）：将输入文本切分成单个的词或者子词...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值