NLP-预训练模型-2019-NLU+NLG：T5【Transfer Text-to-Text Transformer】【将所有NLP任务都转化成Text-to-Text任务】【 翻译、文本摘要..】

《原始论文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》

2019年10月，Google 在《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》这篇论文中提出了一个最新的预训练模型 T5（Text-To-Text Transfer Transformer），其参数量达到了 110 亿，完爆 Bert Large 模型，且在多项 NLP 任务中达到 SOTA 性能。有人说，这是一种将探索迁移学习能力边界的模型。

当然，最大的冲击还是财大气粗，bigger and bigger，但翻完它长达 34 页的论文，发现其中的分析无疑是诚意满满（都是钱）。类似这样的大型实验探索论文也有一些，首先提出一个通用框架，接着进行了各种比对实验，获得一套建议参数，最