前言
自2017年推出以来,Transformer已迅速成为在各种自然语言处理任务上实现最先进结果的主导架构。Transformers 已经被用来编写真实的新闻故事,改进谷歌搜索查询,甚至创造出讲笑话的聊天机器人。
在本指南中,作者Lewis Tunstall、Leandro von Werra和Thomas Wolf(拥抱Transformers 的创始人之一)使用亲身实践的方法来教你Transformers如何工作,以及如何将它们集成到应用程序中。你会很快学到他们能帮你解决的各种任务。
本书的目标是让您能够构建自己的语言应用程序。为了达到这个目的,它关注于实际的用例,并且只在必要的时候深入研究理论。这本书的风格是动手操作,我们强烈建议您亲自运行代码示例来进行试验。本书涵盖了NLP中transformers的所有主要应用,每一章(除了少数例外)专门针对一个任务,结合一个实际的用例和数据集。每一章还介绍了一些额外的概念。
目录
第一章,你好Transformers
介绍了Transformers,并把它们放到了背景中。它还介绍了“Hugging Face”生态系统。
第二章文本分类
重点介绍了情感分析(一个常见的文本分类问题),并介绍了Trainer API。
第三章,Transformer剖析
更深入地介绍了Transformer架构,为接下来的章节做准备。
第四章,多语言命名实体识别
重点关注在多语言文本中识别实体的任务(一个令牌分类问题)。
第五章,文本生成
探讨了Transformers模型生成文本的能力,并介绍了解码策略和度量。
第六章,摘要
深入研究了文本摘要的复杂序列到序列任务,并探讨了该任务使用的度量。
第七章“问答”
重点介绍了基于综述的问答系统的构建,并介绍了利用Haystack进行检索的方法。
第8章 Transformer模型调优
重点介绍了模型性能。我们将着眼于意图检测的任务(序列分类问题的一种类型),并探索知识蒸馏、量化和剪枝等技术。
第9章 零样本学习和少样本学习
处理很少或没有标签,着眼于在没有大量标签数据的情况下提高模型性能的方法。我们将构建一个GitHub问题标签和探索技术,如零样本分类和数据增强。
第十章,从头开始训练Transformer
向您展示了如何从头开始构建和训练一个自动完成Python源代码的模型。我们将研究数据集流和大规模培训,并构建我们自己的标记器。
第十一章,未来方向
探讨了Transformers面临的挑战和一些令人兴奋的新方向的研究,在这一领域将进入。