前言
Transformer是用于自然语言处理的神经网络架构。自然语言处理的英文全称为Natural Language Processing，简称NLP。
在大数据和人工智能时代，机器学习和深度学习已经成为各行各业解决问题的有效方法，自然语言处理，是深度学习的重要应用领域之一。
而自然语言处理这个研究领域在过去20年中发生了翻天覆地的变化，从传统的自然语言处理方法到深度学习方法，再到目前的Transformer。
今天给大家推荐的这本《精通Transformer：从零开始构建最先进的NLP模型》，作者是来自土耳其的萨瓦斯·伊尔蒂利姆和来自伊朗的梅萨姆·阿斯加里-切纳格卢。
本书涵盖了这些自然语言处理方法。基于 Hugging Face社区的Transformer库，我们能够轻 松地使用Transformer。
本书将循序渐进地提供各种自然语言处理问题的解决方案：从文档摘要到问 题回答系统。我们将看到，基于Transformer, 可以取得最先进的成果。
为了更好的了解书中的知识以及如何应用到实际生活中，这本书的读者对象要求具有初级水平的机器学习知识以及良好的 Python基础知识。
具备Python程序设计语言的基本知识，了解自然语言处理的基础知识，深度学习的基础知识，以及深度神经网络的工作原理。在这些知识的基础之上，可以充分利用本书的资源。
下载当前版本： 完整PDF书籍链接获取，可以V扫描下方二维码免费领取👇👇👇
目录
第1 章 从词袋到Transformer。
本章简要介绍了自然语言处理的历史，并将传统方法、深度学习模型(如CNIN、RNN 和LSTM) 与Transformer模型进行了比较分析。
第2章 Transformer的实践操作入门。
本章深入探讨了如何使用Transformer模型，并通过实际例子阐述了分词器和模型，如BERT。
第3章 自编码语言模型。
本章讨论了如何从零开始在任何给定语言上训练自编码语言模型。训练过程将包括模型的预训练和特定任务的训练。
第4章 自回归和其他语言模型。
本章讨论了自回归语言模型的理论细节，并引导读者如何在自己的语料库中对模型进行预训练。读者将学习如何在自己的文本上预训练任何语言模型(如GPT- 2),并在各种任务(如语言生成)中使用该模型。
第5章 微调文本分类语言模型。
在本章中，读者将学习如何配置文本分类的预训练模型，以及如何微调文本分类下游任务的模型(如情感分析或多类别分类)。
第6章 微调标记分类语言模型。
本章讲述如何微调标记分类任务的语言模型[如命名实体识别 (NER)、词性标注 (POS)和问题回答 (QA)系统]。
第7章 文本表示。
在本章中，读者将学习文本表示技术以及如何有效地利用Transformer 体系结构，特别是对于无监督任务，如聚类、语义搜索和主题建模。
第8章 使用高效的Transformer。
本章展示了如何使用提炼、剪枝和量化方法，从预训练模型中 生成高效的模型。然后，读者将获得有关高效稀疏Transformer的知识，如Linformer 和 BigBird，以及如何使用这些模型。
第9章 跨语言和多语言建模。
在本章中，读者将学习多语言和跨语种语言模型预训练以及单语言和多语言预训练之间的差异。本章涉及的其他主题包括因果语言建模和翻译语言建模。
第10章 部署 Transformer 模型。
本章将详细介绍如何在 CPU/GPU环境中，为基于 Transformer的自然语言处理解决方案提供服务。本章还将描述如何使用 TensorFlow 扩展 (TFX) 部署机器学习系统。
第11 章 注意力可视化与实验跟踪。
本章涵盖两个不同的技术概念：注意力可视化与实验跟踪。 我们将使用诸如exBERT 和 BertViz之类的复杂工具进行实验练习。
下载当前版本： 完整PDF书籍链接获取，可以V扫描下方二维码免费领取👇👇👇
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
