Transformer和BERT模型讲得最清楚，最通识易懂的一本书《BERT基础教程：Transformer大模型实战》

前言

本书聚焦谷歌公司开发的BERT自然语言处理模型，由浅入深地介绍了BERT的工作原理、BERT的各种变体及其应用。

本书呈现了大量示意图、代码和实例，详细解析了如何训练BERT模型、如何使用BERT模型执行自然语言推理任务、文本摘要任务、问答任务、命名实体识别任务等各种下游任务，以及如何将BERT模型应用于多种语言。

通读本书后，读者不仅能够系统了解有关BERT的各种概念、术语和原理，还能够使用BERT模型及其变体执行各种自然语言处理任务。

下载当前版本： 完整PDF书籍链接获取，可以扫描下方二维码免费领取👇👇👇

读者点评

关于Transformer和BERT模型讲得最清楚，最通识易懂的一本书，比那些看似高大上，列一堆公式，但讲不清楚，说不明白的大块头强多了。本书图文并茂，公式和代码一应俱全，不多不少，恰到好处。本书虽然是主要介绍BERT的，但对于自然语言处理基本概念的学习也很有帮助，同时提供的代码示例也非常实用。

这本书非常适合深度学习和自然语言处理的初学者，建议多关注书中讲解的transformer和bert的原理以及自然语言处理和各种模型变体的思路，书中实践部分的代码试了下跑起来基本都有问题，建议跟着huggingface的官方文档进行实践效果更好。

书籍优点

• 轻松上手：循序渐进，引导你亲手训练和理解 BERT 模型

• 以简驭繁：示意图丰富，逐步拆解复杂原理，小白也能看懂

• 运用自如：呈现多种下游任务，凝聚实战经验，助你灵活运用

• 全面系统：详细讲解十余种 BERT 变体的原理，配套大量示例和习题

目录

第一部分 开始使用 BERT

第 1 章 Transformer 概览

• 1.1 Transformer 简介
• 1.2 理解编码器
• 1.3 理解解码器
• 1.4 整合编码器和解码器
• 1.5 训练 Transformer
• 1.6 小结
• 1.7 习题
• 1.8 深入阅读

第 2 章 了解 BERT 模型

• 2.1 BERT 的基本理念
• 2.2 BERT 的工作原理
• 2.3 BERT 的配置
• 2.4 BERT 模型预训练
• 2.5 子词词元化算法
• 2.6 小结
• 2.7 习题
• 2.8 深入阅读

第 3 章 BERT 实战

• 3.1 预训练的 BERT 模型
• 3.2 从预训练的 BERT 模型中提取嵌入
• 3.3 从 BERT 的所有编码器层中提取嵌入
• 3.4 针对下游任务进行微调
• 3.5 小结
• 3.6 习题
• 3.7 深入阅读

第二部分 探索 BERT 变体

第 4 章 BERT 变体（上）：ALBERT、RoBERTa、ELECTRA 和 SpanBERT

• 4.1 BERT 的精简版 ALBERT
• 4.2 从 ALBERT 中提取嵌入
• 4.3 了解 RoBERTa
• 4.4 了解 ELECTRA
• 4.5 用 SpanBERT 预测文本段
• 4.6 小结
• 4.7 习题
• 4.8 深入阅读

第 5 章 BERT 变体（下）：基于知识蒸馏

• 5.1 知识蒸馏简介
• 5.2 DistilBERT 模型——BERT 模型的知识蒸馏版本
• 5.3 TinyBERT 模型简介
• 5.4 将知识从 BERT 模型迁移到神经网络中
• 5.5 小结
• 5.6 习题
• 5.7 深入阅读

第三部分 BERT 模型的应用

第 6 章 用于文本摘要任务的BERTSUM 模型

• 6.1 文本摘要任务
• 6.2 为文本摘要任务微调 BERT 模型
• 6.3 理解 ROUGE 评估指标
• 6.4 BERTSUM 模型的性能
• 6.5 训练 BERTSUM 模型
• 6.6 小结
• 6.7 习题
• 6.8 深入阅读

第 7 章 将 BERT 模型应用于其他语言

• 7.1 理解多语言 BERT 模型
• 7.2 M-BERT 模型的多语言表现
• 7.3 跨语言模型
• 7.4 理解 XLM-R 模型
• 7.5 特定语言的 BERT 模型
• 7.6 小结
• 7.7 习题
• 7.8 深入阅读

第 8 章 Sentence-BERT 模型和特定领域的 BERT 模型

• 8.1 用 Sentence-BERT 模型生成句子特征
• 8.2 sentence-transformers 库
• 8.3 通过知识蒸馏迁移多语言嵌入
• 8.4 特定领域的 BERT 模型：ClinicalBERT 模型和BioBERT 模型
• 8.5 小结
• 8.6 习题
• 8.7 深入阅读

第 9 章 VideoBERT 模型和BART 模型

• 9.1 VideoBERT 模型学习语言及视频特征
• 9.2 了解 BART 模型
• 9.3 探讨 BERT 库
• 9.4 小结
• 9.5 习题
• 9.6 深入阅读

习题参考答案

下载当前版本： 完整PDF书籍链接获取，可以扫描下方二维码免费领取👇👇👇