世界上唯一一本全面解析Transformer的书，不管你在学还是想学都一定要看看！

Transformer 正在成为许多神经网络架构的核心部分，广泛应用于 NLP、语音识别、时间序列和计算机视觉等各种应用

01

书籍简介

这本书可以说是目前世界上唯一一本关于Transformer的综合性书籍了，详细解释了Transformer相关的各种算法和技术

涵盖60多个Transformer架构和对应的知识及技巧，完全可以满足大家在语音、文本、时间序列和计算机视觉等方向的需求，并且只需要本科基础就完全能够看懂

书籍的PDF不好找，如果有小伙伴需要的话，可以长按下方二维码加我的小助手无偿获取

02

书籍章节内容

01

深度学习和Transformer：简介

介绍Transformer的发展脉络、历史背景，以及它对学术界和工业界的深远影响。从理论、实践和应用三个角度阐述，并制定了一个完整的学习路线图

02

Transformer基础知识

从理论和实践两个方面，首先介绍序列到序列模型及其局限性，然后逐步深入讲解Transformer的各个组成部分，包括注意力机制、多头注意力、位置编码、残差连接和编码器—解码器架构

03

Transformer的双向编码器表示（BERT）

Bert的出现极大地推动了自然语言处理领域的发展，这章详细介绍了BERT的架构及其在经典NLP任务中的预训练和微调方法。比如BERTology，即BERT的内部工作原理和文本处理机制

04

多语言Transformer架构

多语言迁移学习是Transformer架构在机器学习领域的重要应用之一。这一章会概述基于Transformer的多语言架构，以及如何进行跨语言迁移学习的预训练和微调

05

Transformer改进

讨论讨论对标准Transformer架构的多种改进，这些改进旨在处理更长的序列，同时构建速度更快、性能更优的模型

06

预训练及Transformer应用

自BERT出现以来，各领域陆续推出了多种预训练模型，这些模型可以根据特定领域的数据进行微调。本章将讨论这些预训练模型，并展示它们在计算机视觉、语音、时间序列和文本等领域的优势和应用

07

Transformer可解释性

从可解释性的角度理解模型，特别是考虑到基于Transformer的模型通常被视为“黑箱”。这一章章介绍提高模型可解释性的方法，并以电子健康记录系统中的Transformer为例，展示可解释技术的实际应用

3

作者简介

Uday Kamath：资深分析产品开发者，拥有20年经验，擅长统计、机器学习等领域。出版多本书籍，曾任多个高级职位，目前是Smarsh首席分析官，专注于数据科学和AI

Wael Emara：20年学术与工业经验，计算机科学博士，专长机器学习和AI，活跃于技术社区，目前是Digital Reasoning高级研究工程师

Kenneth L. Graham：20年定量问题解决经验，专注于NLP解决方案，拥有多项专利和研究出版物，目前是Smarsh首席研究工程师