论文笔记--Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

最新推荐文章于 2024-11-15 10:00:07 发布
最新推荐文章于 2024-11-15 10:00:07 发布
阅读量304 收藏
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读 transformer bert gpt T5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/131611900
版权

论文笔记--Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

1. 文章简介

  • 标题：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
  • 作者：Raffel C, Shazeer N, Roberts A, et al.
  • 日期：2020
  • 期刊：JMLR

2. 文章概括

  文章提出了一种基于Encoder-Decoder架构的模型T5(Text-to-Text Transfer Transformer)和数据集C4(Colossal Clean Crawled Corpus)。为了验证大模型性能的影响因素，文章进行了一系列的系统研究（相当多了），并在系统研究结论的基础上对T5模型进行提升。最终得到的T5-11在18/24个下游任务中达到了SOTA。
  整体示意如下图
整体架构

3 文章重点技术

3.1 Text-to-Text Transfer Transformer(T5)模型

  由于Transformer突出的表现能力，文章选用Transformer作为模型的基本架构。原始的Transformer采用Encoder-Decoder架构，现在比较成功的模型采用Transformer的一些变体，如GPT[1]系列模型（语言模型）采用Transformer的解码层配合语言模型目标进行训练，BERT[2]模型采用Transformer的编码层配合MLM(Masked Language Modeling)目标进行训练。
  文章选择沿用原始的Encoder-Decoder架构：输入的句子先转化为嵌入向量，然后输入Encoder。这里文章将原始的Layer Normalization(LN)层进行了简化，只保留其放缩部分，即将原始的 W x + b Wx+b Wx+b变为 W x Wx Wx，移除了其中的bias。然后经过Encoder得到的向量再传入Decoder层并尝试还原原始序列。
  原始的Transformer采用sin-cos位置编码，这里文章选择采用如下相对位置编码方法：每个位置嵌入为一个标量，且在不同层之间共享。共计32个位置编码：针对间隔超过128个token的，我们采用相同的位置编码（位置相差1000和2000区别并不多）；间隔小于128个token的共计31个位置编码，具体可参加T5的code。

3.2 Colossal Clean Crawled Corpus(C4)数据集

  为了训练模型，文章首先从Common Crawl获取了2019年4月之后的大量HTML文本，并对这些网页进行了如下预处理

  • 只保留以终结符（句号、感叹号、引号、问号）结束的文本行
  • 删除少于5个句子的页面，删除少于3个单词的句子
  • 移除所有包含”Li
最低0.47元/天 解锁文章
Isawany
关注
专栏目录
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Young, Simple, Naive
11-14 742
一种迁移学习的统一框架
NLP-预训练模型-2019-NLU+NLG：T5【Transfer Text-to-Text Transformer】【将所有NLP任务都转化成Text-to-Text任务】【 翻译、文本摘要..】
热门推荐
u013250861的博客
12-30 1万+
《原始论文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》 2019年10月，Google 在《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》这篇论文中提出了一个最新的预训练模型 T5（Text-To-Text Transfer Transformer），其参数量达到了 11
T5：Exploring the Limits of Transfer Learning with a UnifiedText-to-Text Transformer
@
09-07 4001
跟BERT一样，T5也是Google出品的预训练模型，来自论文为 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer，代码已开源。T5的理念就是“万事皆可Seq2Seq”，它使用了标准的Encoder-Decoder模型，并且构建了无监督/有监督的文本生成预训练任务
T5：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（万字长文略解T5）
from top to bottom
08-09 2151
迁移学习就是模型先在一个数据丰富的任务上进行预训练，然后再在下游任务上进行微调。最近迁移学习在NLP中是一个很有力的技术。在本文中，我们通过介绍一个将基于文本的问题转换成文本到文本的统一框架，从而开发迁移学习在NLP中的应用。...............
文献阅读笔记：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer(T5)
ljp1919的专栏
11-07 6158
0. 背景 机构：谷歌 作者： Colin Raffel 发布地方：arxiv 面向任务：自然语言理解 论文地址：https://arxiv.org/abs/1910.10683 论文代码：https://github.com/google-research/text-to-text-transfer-transformer 0.1 摘要 迁移学习已经在NLP领域大显神威，其有效性源于多元化的方法...
论文翻译 - T5大模型 - Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
anniewwy的博客
02-01 992
迁移学习，也就是模型首先在数据丰富的任务上进行预训练，然后再对下游任务进行微调，已成为自然语言处理 (NLP) 中的强大技术。迁移学习的有效性催生了多样的途径、方法和实践。在本文中，我们通过引入一个统一的框架来探索 NLP 的迁移学习技术的前景，该框架将所有基于文本的语言问题转化为文本到文本的格式。我们的系统研究比较了数十个语言理解任务的预训练目标、架构、未标记数据集、迁移方法和其他因素。
阅读笔记：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
JaydeeMa的博客
11-18 2381
阅读笔记：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义...
T5论文笔记(Text-To-Text Transfer Transformer)
u014596913的博客
11-08 1834
所谓迁移学习(transfer learning)就是把基于超大数据集预训练的模型在特定任务上用相对小得多的数据集再做一次fine-tuning训练，进而把预训练模型里的“知识”迁移到了给下游任务用的模型里去了，区别于zero-shot learning(即直接用预训练模型而不做fine-tuning)。作者提出了一个基于Transformer encoder-decoder结构的被命名为Text-to-Text Transfer Transformer(简称T5)的统一框架(unified framewo
T5 模型：NLP Text-to-Text 预训练模型超大规模探索
hecongqing的博客
11-18 1万+
相信大多 NLP 相关者，在时隔 BERT 发布近一年的现在，又被谷歌刚发布的 T5 模型震撼到了。又是一轮屠榜，压过前不久才上榜自家的ALBERT，登上 GLUE 榜首。当然，最大的冲...
预训练模型（8）---- T5: Text-To-Text Transfer Transformer
小小鸟要高飞
11-04 2628
论文链接： Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 代码链接： https://github.com/google-research/text-to-text-transfer-transformer 其实在ELECTRA 之前我就看到了T5，这个模型可以用一个字来总结，那就...
T5： Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（2019-10-23）
weixin_49346755的博客
08-02 1057
T5提出一个统一的模型框架，将各种NLP任务都视为Text-to-Text任务，也就是输入为Text，输出也为Text的任务。由此可以方便地评估在阅读理解、摘要生成、文本分类等一系列NLP任务上，不同的模型结构，预训练目标函数，无标签数据集等的影响。对于模型的输入，比如英德翻译任务，只需将训练数据集的输入部分前加上translateEnglishtoGerman即可。假设需要翻译Thatisgood，那么先转换成translateEnglishtoGerman语言模型式Mask法。......
【论文阅读】HITS: High-coverage LLM-based Unit Test Generation via Method Slicing
网络空间安全|人工智能|计算机科学
11-14 610
本文提出了一种基于LLM的单元测试生成方法，通过将复杂方法分解为多个切片，并让LLM逐片生成测试用例。静态分析：收集被测方法的依赖信息，以便LLM理解其使用和结构。链式思维技术：指导LLM按照解决问题的步骤分解被测方法。生成测试用例：针对每个切片生成一个单元测试类，覆盖所有行和分支。修复不可执行测试：对不可执行的测试进行修复。通过静态分析获取被测方法的上下文信息，包括依赖类、字段和方法声明。这些信息作为LLM的提示前缀。
论文笔记（五十六）VIPose: Real-time Visual-Inertial 6D Object Pose Tracking
xzs1210652636的博客
11-14 718
估计物体的6D姿态对于运输、自动导航、操纵等机器人任务非常有益，同时在虚拟现实和增强现实等超越传统机器人的场景中也同样重要。相对于单张图片的姿态估计，姿态跟踪考虑了跨多个帧的时间信息，以克服可能的检测不一致并提高姿态估计的效率。在这项工作中，我们介绍了一种名为VIPose的新型深度神经网络（DNN），该网络结合惯性和摄像机数据来实时解决物体姿态跟踪问题。主要贡献是设计了一种新型的DNN架构，该架构融合视觉和惯性特征来预测连续图像帧之间物体的相对6D姿态。然后通过连续组合相对姿态来估计总体的6D姿态。
论文阅读 - Causally Regularized Learning with Agnostic Data Selection
最新发布
qq_40671063的博客
11-15 728
之前的大部分机器学习算法都是基于 i.i.d 提出的。假设。然而，这种理想的假设在实际应用中经常被违反，其中训练和测试过程之间可能会出现选择偏差。此外，在许多场景中，测试数据在训练过程中甚至不可用，这使得迁移学习等传统方法由于需要测试分布的先验而变得不可行。因此，如何解决鲁棒模型学习的不可知选择偏差对于学术研究和实际应用都至关重要。本文在假设变量间的因果关系在不同领域间具有稳健性的前提下，将因果技术融入预测建模中。
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型
川川自溢的博客
11-11 1265
【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型
论文阅读《BEVFormer v2》
YMWM_的博客
11-12 639
我们提出了一种具有透视监督的新型鸟瞰图（BEV）检测器，其收敛速度更快并且更适合现代图像主干。现有的最先进的BEV检测器通常与某些深度预训练主干网络（如VoVNet）相关联，从而阻碍了蓬勃发展的图像主干网络和BEV检测器之间的协同作用。为了解决这一限制，我们优先通过引入透视图监督来简化BEV检测器的优化。为此，我们提出了一个两阶段BEV检测器，其中来自透视头的提议被输入到鸟瞰头中进行最终预测。为了评估我们模型的有效性，我们进行了广泛的消融研究，重点关注监督形式和所提出的检测器的通用性。
【论文阅读】Virtual Compiler Is All You Need For Assembly Code Search
网络空间安全|人工智能|计算机科学
11-12 720
数据集构建：编译了来自Ubuntu的6000多个C/C++软件包，生成源代码与汇编代码的对应关系。模型训练：基于CodeLlama模型，通过监督微调使其具备编译能力。增强数据集：利用虚拟编译器生成的汇编代码数据集来训练汇编代码编码器，以改进代码搜索模型。
PETR/PETRv2/StreamPETR论文阅读
人无远虑，必有近忧
11-12 735
但是在对t-1时刻的坐标进行变换后，这些坐标的值发生了变化，但是tensor结构没有发生变化依旧是(D*4,H,W)，那么对于H,W的某个位置x和y来说，t时刻是一条射线上的若干点坐标，t-1时刻变换到t时刻，同样的位置x和y处是上一时刻的一一对应的坐标，这表示的就是坐标的变化，这条射线上每个点在△t内坐标的变化。t时刻的lidar坐标系和t-1时刻的lidar坐标系是不同的，是变化了的，所以需要一个不会变化的global坐标系作为桥梁。3D位置嵌入与同一视图的2D图像特征相加，生成3D位置感知功能。
(时序论文阅读)TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting
wq2571931803的博客
11-12 629
来源论文iclr2024论文地址：https://arxiv.org/abs/2405.14616源码地址： https://github.com/kwuking/TimeMixer。
Write a paper about Deep-learning based analysis of metal-transfer images in GMAW process
02-16
We used the ResNet50 architecture with transfer learning, which is a widely used and effective approach for image classification tasks. The model was trained using the categorical cross-entropy loss ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值