UNIVERSAL TRANSFORMERS读书笔记

最新推荐文章于 2023-11-24 11:47:21 发布
最新推荐文章于 2023-11-24 11:47:21 发布
阅读量589 收藏 5
点赞数
分类专栏： ICLR
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bigMonkey521/article/details/107770504
版权
Universal Transformer（UT）模型综合了Transformer的并行性和全局视野，以及RNN的递归特性。作者在每个位置添加动态停止机制，提升模型在多个任务的准确性。模型结构中，FFN被Transition Function替代，允许引入如卷积网络的高并行度结构。UT的时间维度体现在中间状态的不断调整，而非传统RNN的序列位置。模型使用Adaptive Computation Time（ACT）动态确定迭代次数，提高了效率和性能。
摘要由CSDN通过智能技术生成

ABSTRACT

作者提出了一种称为universal transformer(简称UT)的模型，总的来说，该模型就是集合了Transformer和基于RNN结构的神经网络的优点而提出的更加通用的Transformer模型，具体来说它主要结合了这两个模型中的如下优点：

UTs combine the parallelizability and global receptive field of feed-forward sequence models like the Transformer with the recurrent inductive bias of RNNs.

  1. 像Transformer这种前向传播模型中的高效的并行性和全局接收域（global receptive field）
  2. RNN模型中的递归的特性。
    （本人英语不好，并且处于Machine Translation的入门阶段，所以一些名词和术语翻译的可能不准确）
    除此之外，在模型中作者还为每个单独的位置添加了一个动态停止机制，并发现通过这种机制的加入，可以极大的提高该模型在几个不同任务上的准确性。

2 MODEL DESCRIPTION

该模型的具体结构如下所示：
UT结构图
在模型当中，我们可以看到，该模型还是经典的encoder+decoder的结构，在encoder和decoder中，之前transfo

最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
5.13 Universal Transformers讲解
炫云云
04-05 395
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝 为什么提出Universal Transformer 🥝🥝 Universal Transformer 🍉🍉 encoder 🍉🍉 Recurrent机制 🍉🍉 Adaptive Computation Time (ACT) 🍉🍉 DECODER 🥝🥝 总结
Transformer家族4 -- 通用性优化（Universal-Transformer）
热门推荐
谢杨易的博客
06-30 1万+
1 背景 之前讲Transformer的时候，也提到过它的通用性的缺点。相比于RNN，Transformer不是图灵完备的，虽然大多数任务都是吊打RNN，但在某些看起来极为简单的任务上，却表现很差，比如字符串拷贝等。这个问题其实也不算大，但谷歌还是给出了他的解决方案，也就是Universal Transformer。这篇看看就好了，个人感觉实际应用中作用有限。 2 Universal-Transformer 论文信息：2018年7月，谷歌，ICLR2019论文地址 https://arxiv.org/ab
【NLP】Universal Transformers详解
weixin_34326558的博客
11-12 612
上一篇transformer写了整整两周。。解读太慢了。。主要是自己也在理解，而且没有时间看源码，非常惭愧，如果哪里说错了希望大佬们可以提醒一下之前细细研究了attention和transformer之后，universal transformer读了一遍就理解了，缺乏之前基础的童鞋们请先移步：【NLP】Attention原理和源码解析2. 【NLP】Transformer详解Universal ...
利用 Universal Transformer，翻译将无往不利！
谷歌开发者
09-04 1761
文 / Google Brain Team 的研究科学家 Stephan Gouws、阿姆斯特丹大学的 Mostafa Dehghani 博士生、谷歌研究实习生去年，我们...
Universal Transformer 论文解读
qq_43708647的博客
04-16 779
论文出处：Universal Transformers 摘要 RNN一直是sequence modeling task 的主要选择。然而，固有的序列计算让它训练很慢，FCNN 和CNN架构在一些例如机器翻译在内的序列建模任务中取得了更好的结果，因为同时计算所有输入，所以并行性强，训练时间更快。然而，一些FCNN架构，例如vanilla transformer在一些简单的任务上不能处理RNN能够轻松应对的东西，例如 copy string，或者是当string长度超过训练数据集时的简单推断任务。我们提出了un
Pretrained Transformers As Universal Computation Engines Kevin笔记
昼
08-03 893
在文本上预训练了的transformers可以轻松拓展到其他模态。
OCR读书笔记
sinat_28685897的博客
04-20 770
【1】Zhou et al. Informer:Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. AAAI 2021 Best Paper. 长序列的时序预测问题（LSTF）要求模型具有很高的预测能力，即能够有效地捕捉输出和输入之间精确的长程相关性，Transformer具有此方面的潜力但仍存在一些严重问题，如二次方的时间复杂度，高内存使用率，以及encoder-decoder体系结构的固有限制。...
DRONE：用于稀疏视图 CT 重建的双域残差优化网络--阅读笔记
wangtao990503的博客
05-06 1698
DRONE: Dual-domain Residual-based Optimization NEtwork for Sparse-view CT Reconstruction https://sci-hub.se/10.1109/TMI.2021.3078067 摘要 在本文中，我们提出了一种基于残差的双域优化网络（DRONE）。 DRONE 由三个模块组成，分别用于嵌入、细化和感知。在嵌入模块中，首先扩展了一个稀疏的正弦图。然后，图像域网络有效地抑制了稀疏视图伪影。之后，细化模块侧重于协同恢复残差数
文献阅读笔记—Improving Language Understanding by Generative Pre-Training
manmanxiaowugun的博客
11-06 7709
迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！ （一）ELMO：Deep contextualized word representations （二）Universal Language Model Fine-tuning for Text Classification （三）openAI ...
Python-基于UniversalTransformerCRF的中文分词和词性标注
08-10
Sequence labeling base on universal transformer (Transformer encoder) and CRF; 基于Universal Transformer CRF 的中文分词和词性标注
万字长文带你一览ICLR2020最新Transformers进展（下）
fengdu78的博客
05-19 574
原文链接：http://gsarti.com/post/iclr2020-transformers/作者：Gabriele Sarti编译：朴素人工智能3. Embeddings原始的T...
万字长文带你一览ICLR2020最新Transformers进展
hwaust2020的博客
06-24 335
文章目录1. Self-atention 的变体Long-Short Range AttentionTree-Structured Attention with Subtree MaskingHashed AttentioneXtra Hop Attention2. 训练目标Discriminative Replacement TaskWord and Sentence Structural TasksType-Constrained Entity Replacement3. EmbeddingsPosit
【自然语言处理 | Transformers】Transformers 常见算法介绍合集（三）
wzk4869的博客
09-18 495
【自然语言处理 | Transformers】Transformers 常见算法介绍合集（三）
transformer变体
u013596454的博客
09-28 1414
1. Introduction  在这篇博客，我们详细的介绍了transformer的结构，也介绍了transformer还存在的问题，接着本篇文章将会介绍关于transformer的多种改进，让我们了解一下更加丰富多彩的transformer结构。 2.各种变体 2.1 Universal transformers(UT)  提出于2018年，是transformer的后续工作，它的提出是为了解决transformer固有的非图灵完备性及缺少conditional computation的问题。  UT与
【深度学习】Transformer及其变种
最新发布
TwcatL_tree
11-24 1455
本文主要介绍了Transformer模型以及针对其缺点作出改进的一些变种模型，总结了它们的设计思路和优缺点。未来，以Transformer及其改进版为基础特征抽取器的预训练模型，一定能够在自然语言处理领域取得更大的突破。
Universal Transformer
啊噗啊噗
02-11 1251
参考： https://arxiv.org/pdf/1807.03819.pdf 学界 | 谷歌的机器翻译模型 Transformer，现在可以用来做任何事了 https://juejin.im/post/5b8f40776fb9a019e04ebe09 https://www.leiphone.com/news/201808/1nhPCi9jWWNGv6aw.html https://...
transformer详解：transformer/ universal transformer/ transformer-XL
彼得.攀的blog
10-08 1867
首发自彼得攀的小站 特别鸣谢刘陆琛@Mayouji在本文写作过程中的帮助 Attention机制在NLP领域的应用最早可以追朔到2014年，Bengio团队将Attention引入NMT(神经机器翻译)任务 [1]。之后更是在深度学习的各个领域得到了广泛应用：如CV中用于捕捉图像上的感受野；NLP中定位关键token/feature. 作为某种程度上可以称为当下NLP领域最强的特征抽取器的tran...
Transformer五部曲
小岁月太着急
05-13 9331
Transformer：没错，你只需要注意力机制 首先先说说自己对 Transformer 理解，我认为它最大的改进有如下几点： 提出用注意力机制来直接学习源语言内部关系和目标语言内部关系，而不是像之前用 RNN 来学； 对存在多种不同关系的假设，而提出多头 (Multi-head) 注意力机制，有点类似于 CNN 中多通道的概念； 对词语的位置，用了不同频率的 sin 和 cos 函...
Transformers
07-27
Transformers是一个工业化、同质化的后深度学习模型，专为超级计算机上的并行计算而设计。它可以执行广泛的任务而无需微调，并且可以通过自我监督学习对数十亿原始未标记数据进行训练\[1\]。当需要一次推理多个句子...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值