NLP大牛Thomas Wolf的新书《Transformer自然语言处理实战》，466页pdf

前言

自2017年推出以来，Transformer已迅速成为在各种自然语言处理任务上实现最先进结果的主导架构。Transformers 已经被用来编写真实的新闻故事，改进谷歌搜索查询，甚至创造出讲笑话的聊天机器人。

在本指南中，作者Lewis Tunstall、Leandro von Werra和Thomas Wolf(拥抱Transformers 的创始人之一)使用亲身实践的方法来教你Transformers如何工作，以及如何将它们集成到应用程序中。你会很快学到他们能帮你解决的各种任务。

本书的目标是让您能够构建自己的语言应用程序。为了达到这个目的，它关注于实际的用例，并且只在必要的时候深入研究理论。这本书的风格是动手操作，我们强烈建议您亲自运行代码示例来进行试验。本书涵盖了NLP中transformers的所有主要应用，每一章(除了少数例外)专门针对一个任务，结合一个实际的用例和数据集。每一章还介绍了一些额外的概念。

目录

第一章，你好Transformers

介绍了Transformers，并把它们放到了背景中。它还介绍了“Hugging Face”生态系统。

第二章文本分类

重点介绍了情感分析(一个常见的文本分类问题)，并介绍了Trainer API。

第三章，Transformer剖析

更深入地介绍了Transformer架构，为接下来的章节做准备。

第四章，多语言命名实体识别

重点关注在多语言文本中识别实体的任务(一个令牌分类问题)。

第五章，文本生成

探讨了Transformers模型生成文本的能力，并介绍了解码策略和度量。

第六章，摘要

深入研究了文本摘要的复杂序列到序列任务，并探讨了该任务使用的度量。

第七章“问答”

重点介绍了基于综述的问答系统的构建，并介绍了利用Haystack进行检索的方法。

第8章 Transformer模型调优

重点介绍了模型性能。我们将着眼于意图检测的任务(序列分类问题的一种类型)，并探索知识蒸馏、量化和剪枝等技术。

第9章 零样本学习和少样本学习

处理很少或没有标签，着眼于在没有大量标签数据的情况下提高模型性能的方法。我们将构建一个GitHub问题标签和探索技术，如零样本分类和数据增强。

第十章，从头开始训练Transformer

向您展示了如何从头开始构建和训练一个自动完成Python源代码的模型。我们将研究数据集流和大规模培训，并构建我们自己的标记器。

第十一章，未来方向

探讨了Transformers面临的挑战和一些令人兴奋的新方向的研究，在这一领域将进入。

原创作者: u_16163442 转载于: https://blog.51cto.com/u_16163442/11784912