Transformer

已于 2023-08-20 03:59:53 修改
阅读量134 收藏
点赞数
文章标签： 自然语言处理
于 2021-05-14 23:34:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40709711/article/details/116810109
版权

Transformer 模型详解

https://baijiahao.baidu.com/s?id=1651219987457222196&wfr=spider&for=pc

Word Embedding

https://my.oschina.net/earnp/blog/1113896

如何理解Transformer论文中的positional encoding，和三角函数有什么关系

https://www.zhihu.com/question/347678607/answer/864217252

深入理解Transformer及其源码

https://www.cnblogs.com/zingp/p/11696111.html#_label5
FeboReigns
关注
Transformer 模型详解
步入人工智能
05-29 27万+
本内容主要介绍 Transformer 模型的具体实现。
Vision Transformer详解
霹雳吧啦Wz
06-26 26万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
【超详细】【原理篇&实战篇】一文读懂Transformer
艰难困苦，玉汝于成。
11-02 19万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Swin-Transformer网络结构详解
霹雳吧啦Wz
11-03 22万+
文章目录0 前言1 网络整体框架2 Patch Merging详解3 W-MSA详解Ω(MSA)\Omega (MSA)Ω(MSA)模块计算量Ω(W−MSA)\Omega (W-MSA)Ω(W−MSA)模块计算量4 SW-MSA详解5 Relative Position Bias详解6 模型详细配置参数 0 前言 Swin Transformer是2021年微软研究院发表在ICCV上的一篇文章，并且已经获得ICCV 2021 best paper的荣誉称号。Swin Transformer网络是Tran
史上最小白之Transformer详解
热门推荐
Tink1995的博客
03-27 33万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
transformer
zhangxu
09-28 3574
transformer最早于2017年google机器翻译团队提出，也就是著名的 《Attention Is All You Need》，transformer完全取代了以往的RNN和CNN结构，改为由transformer堆叠的方式构建模型。 transformer在NLP领域首先取得了非常惊人的效果，随后DETR首次将transformer引入到了CV的目标检测任务重，随后VIT完全抛弃了CNN，改为完全由transformer实现基础的图像分类任务，之后transformer在CV领域的应用也变得一发
Transformer详解
qq_52302919的博客
12-29 7万+
近期Transformer MLP系列模型的出现，增加了CV领域的多样性。但是Transformer这一不同领域的模型对学习者来说需要一个细致的学习过程.下面就是本菜鸟总结学习路线。
Transformer模型详解
人无远虑，必有近忧
01-19 2万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 8万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
自然语言处理 (NLP) 的 5 个步骤
冷冻工厂
10-10 1362
例如，如果一句话读作“Manhattan speaks to all its people”，紧接着的下一句话读作“It calls out to Dave”，话语整合检查第一句话的上下文以理解后一句话中的“It”指的是曼哈顿。对于你的企业来说，挑战在于了解客户和潜在客户对你的产品和服务的看法，但时间和资源的限制使得这一点难以有效实现。单词“unimaginable”包含词素“un-”（一个表示否定语境的黏着词素）、“imagine”（整个单词的自由词素根）和“-able”（一个表示词根能力的黏着词素）。
Python 基于 Bert 的中文情歌分析，多分类中文情感分析
程序员徐师兄的博客
10-11 1097
在自然语言处理（NLP）领域中，情感分析是一项非常常见的任务。它的目标是判断文本的情感倾向，例如在社交媒体上的评论、产品评价、电影评论等数据中，识别文本是正面的、负面的，还是中性的。与传统的二分类情感分析不同，许多应用场景下需要将情感分为更多类别，例如正面、负面和中性，这就是所谓的多分类情感分析。本指南将带你一步步使用 BERT（Bidirectional Encoder Representations from Transformers）进行中文多分类情感分析。
【论文速读】Adapter tuning：Parameter-Effificient Transfer Learning for NLP
weixin_43457608的博客
10-14 859
对大型预训练模型进行微调是自然语言处理中一种有效的传递机制。然而，在存在许多下游任务的情况下，微调是参数效率较低的：每个任务都需要一个全新的模型。**作为一种替代方案，我们建议使用适配器模块进行传输。适配器模块产生一个紧凑和可扩展的模型；它们每个任务只添加一些可训练参数，可以添加新的任务而无需重新访问以前的任务。原网络的参数保持不变，产生了高度的参数共享。**为了证明适配器的有效性，我们将最近提出的BERT变压器模型转移到26个不同的文本分类任务中，包括GLUE基准测试。
深入理解Transformer的笔记记录(精简版本)---- ELMO-＞GPT-＞BERT
qq_40379132的博客
10-11 1182
ELMO采用双向LSTM结构，因为两个方向是彼此独立训练的，所以可以根据上下文预测中间词，尽管效果可能不是最佳GPT由于采取了Transformer的单向结构，只能够看见当前以及之前的词，故只能根据上文预测下一个单词BERT没有像GPT一样完全放弃下文信息，而是采用了双向的Transformer。第一个创新点，即Masked Language Model（MLM），所谓MLM是指在训练的时候随即从输入预料上mask掉一些单词，然后通过的上下文预测该单词。
论文 | LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS
最新发布
m0_49651195的博客
10-14 486
这篇论文展示了一个有趣的想法，即利用 LLM 自动生成和选择指令，从而提高模型在下游任务中的性能。未来，我们可以进一步探索 APE 的应用场景，例如将其用于其他具有自然语言界面的模型，并开发用于优化提示长度的方法，以进一步降低成本。本文提出了一种名为 APE (Automatic Prompt Engineer) 的方法，旨在自动生成和选择用于指导大型语言模型 (LLM) 的指令。APE 是一种很有前景的方法，可以自动生成和选择用于指导 LLM 的指令。： 2023 年 ICLR 会议论文。
大语言模型训练
青山的博客
10-13 765
主要介绍当前大语言模型训练过程中的数据并行、模型并行等方法；模型权重上的混合精度训练、deepspeed训练框架内容，以及LoRA、P-tuning等PEFT方法，推理加速KV cache的原理
Transformer、BERT以及GPT系列联系
不问归处
10-11 354
在GPT中，每个单词的表示都是通过自回归模型计算得到的，这个模型会考虑前面所有的单词，以及它们对应的位置，来预测下一个单词。BERT模型的输入是两个序列，一个序列作为模型的输入，另一个序列作为模型的输出，模型需要判断这两个序列是否相互关联。这个过程被称为下一句预测任务。GPT大模型（全称是Generative Pre-training Transformer）技术是一种使用自回归模型进行语言建模的预训练模型，和Bert一样它也采用了Transformer架构，并使用了大量未标记的文本进行预训练。
TransformER
02-28
TransformER是一个基于Transformer模型的实体关系抽取器。它是由CSDN开发的C知道团队开发的，旨在从文本中自动提取实体和它们之间的关系。 Transformer是一种基于自注意力机制的神经网络模型，它在自然语言处理任务...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值