transformer优秀文章

最新推荐文章于 2024-07-23 11:39:51 发布
最新推荐文章于 2024-07-23 11:39:51 发布
阅读量437 收藏 1
点赞数
分类专栏： 语音识别-深度学习 文章标签： transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Xwei1226/article/details/87280867
版权
Xwei1226
关注
专栏目录
讲Transformer不错的一篇文章
Talk Is Cheap
10-16 1220
https://jalammar.github.io/illustrated-transformer/
解读OpenAI视频生成模型Sora背后的原理：Diffusion Transformer
沉迷单车的追风少年
02-18 3005
OpenAI最近推出的视频生成模型Sora效果上实现了真正的遥遥领先，很多博主都介绍过Sora的效果，但是深入解读背后原理的博客却非常少。Sora的原理最主要的是核心模型主干《Scalable Diffusion Models with Transformers》和训练不同尺寸视频方法《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》。这篇博客详细解读Diffusion Transformer结构，
2-4-Transformer文章概览
qq_40723205的博客
02-04 108
Transformer论文解读一（Transformer）
蓝鲸鱼的博客
11-01 7825
最近Transformer在CV领域很火，Transformer是2017年Google发表的Attention Is All Y ou Need，主要是针对自然语言处理领域提出的。本系列文章介绍Transformer及其在各种领域引申出的应用。 自我注意(Self-attention)，有时也称为内部注意(intra-attention)，是一种将单个序列的不同位置联系起来，以计算该序列的表示的注意机制。Transformer是第一个完全依靠自我注意来计算其输入和输出的表示，而不使用RNN的模型。 论文指
深入解析与应用：一篇文章带你搞懂Transformer模型
最新发布
2301_76161259的博客
07-23 934
Transformer模型自从2017年问世以来，迅速成为自然语言处理（NLP）领域的核心技术。它的强大性能不仅在NLP中得到验证，还在计算机视觉等领域展现出卓越的表现。本篇文章将详细介绍Transformer的基本原理及其使用方法，帮助大家深入理解Transformer模型。Transformer的核心结构包括两个主要部分：编码器（Encoder） 和 解码器（Decoder）。每个部分又由多个层堆叠而成。编码器由N层相同的子层（sub-layer）堆叠而成。每一层包含两个主要子层：多头自注意力机制（Mu
Transformer论文阅读
m0_37634594的博客
03-30 1089
​ 主流序列转录模型使用rnn或cnn，使用encoder和decoder，在好的模型中通常也会使用注意力机制。本文提出一个简单的架构，仅仅依赖注意力机制，并行度更好，训练更快。在机器翻译上结果很好。
Transformer神经网络架构的整体指南
安静的软件工程师
01-07 1625
Transformer神经网络架构的整体指南
【深度学习】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows，论文
q742971636的博客
08-02 168
本文介绍了一种名为Swin Transformer的新型视觉Transformer，它可以作为计算机视觉的通用骨干。将Transformer从语言领域应用到视觉领域面临着挑战，因为两个领域之间存在差异，比如视觉要素的尺度变化很大，图像中的像素分辨率与文本中的单词相比较高。为了解决这些差异，我们提出了一种层次化Transformer，其表示是使用移位窗口计算的。移位窗口方案通过将自注意力计算限制在非重叠的局部窗口内，提高了效率，同时也允许窗口间的连接。
Vision Transformer综述翻译
Yore_的博客
03-30 1876
视觉Transformer综述 摘要 ​ Transformer是一种基于最初应用在自然语言处理领域上的自注意力机制的深度神经网络。受Transformer强表征能力的启发，研究人员将它扩展到计算机视觉任务上。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上表现出竞争性甚至更好的性能。在这篇文献综述，我们通过将这些可视化Transformer模型应用在不同类别的任务中，并且对它们的优缺点进行了分析。特别地，主要类别包括基本图像分类、高级视觉、低级视觉和视频处理。也会
什么是 Transformer 模型以及它们如何工作？
安静的软件工程师
01-02 1128
什么是 Transformer 模型以及它们如何工作？
x-transformers:一个简单但完整的全注意力转换器，具有来自各种论文的一组有前途的实验特征
08-03
x-变形金刚 简明但功能齐全的变压器，配有一组看好E X perimental的各种文件的功能。 安装 $ pip install x-transformers 用法 完整的编码器/解码器 import torch from x_transformers import XTransformer model = XTransformer ( dim = 512 , enc_num_tokens = 256 , enc_depth = 6 , enc_heads = 8 , enc_max_seq_len = 1024 , dec_num_tokens = 256 , dec_depth = 6 , dec_heads = 8 , dec_max_seq_len = 1024 , tie_token_emb =
Transformer论文解读
weixin_41352742的博客
12-15 2388
Transformer 原文：《Attention is all you need》NIPS-2017
Transformer 可解释性论文整理（超级详细）
s_m_c的博客
01-21 2108
前段时间想进一步的了解transformer的工作原理，于是找到了几篇可解释性的文章进行阅读，发现了许多比较有趣的现象和结论，对每篇文章都有自己的深度思考和理解，在此记录，欢迎交流。
Transformer论文精读
星辰的博客
11-07 600
主要的序列转换模型是基于复杂的递归或卷积神经网络，包括一个编码器和一个解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的网络结构Transformer,它完全基于注意力机制，完全省去了重复和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上是优越的，同时具有更高的并行性，需要更少的训练时间。
Transformer 好文章
weixin_44228389的博客
04-11 244
原文： https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 主要是探究 Layer normalization、warm up和梯度的关系。 1603.05027.pdf (arxiv.org) 1908.11365.pdf (arxiv.org) On Layer Normalization in the Transformer Architecture | Op...
今日arXiv精选 | 近期必读的5篇Transformers相关论文
Paper weekly
08-25 355
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从arXiv中精选高质量论文，推送给读者。Fastformer: Additive Attention is ...
Transformer(二) -- 相关博客
qq_28634403的博客
03-04 569
因为有很多事情耽搁了，今天终于完成了Transformer的完整学习，接下来，将分为三篇文章来进行记录： 1. Transformer介绍 2. 相关博客 3. 相关代码解读 这里我就不进行解读了，因为已经有一篇写得非常好的文章对Transformer进行了讲解，下面给出连接： 1.https://jalammar.github.io/illustrated-transforme...
【经典论文阅读15】Transformer—铸就大模型时代的基石
说文科技，做有态度的研究。
10-28 5905
弄清楚Transformer模型内部的每一个细节尤为重要
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
热门推荐
路人贾的博客
04-17 1万+
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
Transformer的变种有哪些
03-01
Transformer是一种非常流行的神经网络模型，用于处理序列数据，特别是在自然语言处理任务中取得了很大的成功。除了原始的Transformer模型，还有一些变种模型被提出来以改进其性能和效率。以下是一些常见的Transformer的变种： 1. BERT（Bidirectional Encoder Representations from Transformers）：BERT是一种预训练的Transformer模型，通过双向语言模型的方式学习上下文相关的词向量表示。它在多项自然语言处理任务中取得了显著的性能提升。 2. GPT（Generative Pre-trained Transformer）：GPT是一种基于Transformer的生成式预训练模型，通过无监督学习从大规模文本数据中学习语言模型。它在生成文本任务中表现出色。 3. XLNet：XLNet是一种自回归的预训练模型，通过排列语言模型（Permutation Language Model）来建模句子中所有可能的排列。它在多项自然语言处理任务中取得了优秀的性能。 4. RoBERTa：RoBERTa是对BERT模型的改进，通过调整训练策略和超参数来提升性能。RoBERTa在多项自然语言处理任务中超过了BERT。 5. T5（Text-to-Text Transfer Transformer）：T5是一种通用的文本转换Transformer模型，通过将各种自然语言处理任务转化为文本到文本的转换问题来进行训练。它在多个任务上取得了领先的性能。 6. GPT-3：GPT-3是目前最大的Transformer模型，具有1750亿个参数。它在多项自然语言处理任务中展现了强大的能力，甚至可以生成高质量的文章、代码和对话。 这些是Transformer的一些常见变种模型，它们在不同的任务和应用中都取得了显著的成果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值