sqlserver text最大长度_T5 模型：NLP Text-to-Text 预训练模型超大规模探索

相信大多 NLP 相关者，在时隔 BERT 发布近一年的现在，又被谷歌刚发布的 T5 模型震撼到了。又是一轮屠榜，压过前不久才上榜自家的ALBERT，登上 GLUE 榜首。

当然，最大的冲击还是财大气粗，bigger and bigger，但翻完它长达 34 页的论文，发现其中的分析无疑是诚意满满（都是钱）。类似这样的大型实验探索论文也有一些，首先提出一个通用框架，接着进行了各种比对实验，获得一套建议参数，最后得到一个很强的 baseline。而我们之后做这方面实验就能参考它的一套参数。

对于 T5 这篇论文，Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer，无疑也是类似的论文。它的意义不在烧了多少钱，也不在屠了多少榜（砸钱就能砸出来），其中 idea 创新也不大，它最重要作用是给整个 NLP 预训练模型领域提供了一个通用框架，把所有任务都转化成一种形式，正如论文里所说的

introducing a unified framework that converts every language problem into a text-to-text format.

之后未来做 NLP 实验时，可能就不再是自己怎么调一些模型了，而是无论什么任务，直接拿来一个超大预训练模型，然后主要工作就变成了怎么把任务转换成合适的文本输入输出，于是我们就成了带引号的”数据科学家“。而且可以用于多种任务，而模型对这些任务的区分只是根据你构建的输入输出形式，其实这让我想起 Jeff Dean 在某次谈话中谈到的谷歌未来方向，想做一个超级模型，什么任务都能直接处理，而它内部可以是稀疏的，或者可以局部 Distill，来对单独任务进行处理。

关于论文，作者们做了很多实验，如下图

将近七十个实验，这也是大家吐槽财大气粗的原因，太有冲击力了，小家小业的话估计跑里面个小实验就够呛了。

正因为如此多实验，所以才对预训练模型中的大量技巧获得了一个较公平的比对和分析，但这也使得整篇论文长度巨长，读起来头晕。不是 idea 的冲击，而都是些琐碎细节，看了几大段后发现，还是看图表一目了然。

这里就简单介绍一下里面做了哪些实验，之后各取所需回看论文。

Why Text-to-Text？

首先为什么叫 T5 模型，因为是 Transfer Text-to-Text Transformer 的简写，和 XLNet 一