前言
随着chatgpt的火热,大模型成为业界新的热点。而未来每个人,不仅仅是人工智能或者计算机行业从业者,未来的工作或多或少可能都会被大模型的影响。所以了解transformer为基础的大模型(Bert,gpt)就很有必要了。
本书聚焦谷歌公司开发的 BERT 自然语言处理模型,由浅入深地介绍了 BERT 的工作原理、BERT 的各种变体及其应用。本书呈现了大量示意图、代码和实例,详细解析了如何训练 BERT 模型、如何使用 BERT 模型执行自然语言推理任务、文本摘要任务、问答任务、命名实体识别任务等各种下游 任务,以及如何将 BERT 模型应用于多种语言。通读本书后,读者不仅能够全面了解有关 BERT 的各种概念、术语和原理,还能够使用 BERT 模型及其变体执行各种自然语言处理任务。
下载当前版本: 完整PDF书籍链接获取,可以扫描下方二维码免费领取👇👇👇
![](https://img-blog.csdnimg.cn/img_convert/48b4a8109ed3017d67d73709cb15deb8.jpeg)
作者简介
苏达哈尔桑·拉维昌迪兰(Sudharsan Ravichandiran)
热爱开源社区的数据科学家,研究方向为深度学习和强化学习的实际应用,在自然语言处理和计算机视觉等领域都颇有建树,另著有《Python强化学习实战》。
书籍优点
-
轻松上手:循序渐进,引导你亲手训练和理解 BERT 模型
-
以简驭繁:示意图丰富,逐步拆解复杂原理,小白也能看懂
-
运用自如:呈现多种下游任务,凝聚实战经验,助你灵活运用
-
全面系统:详细讲解十余种 BERT 变体的原理,配套大量示例和习题
目录
第一部分 开始使用 BERT
第 1 章 Transformer 概览
- 1.1 Transformer 简介
- 1.2 理解编码器
- 1.3 理解解码器
- 1.4 整合编码器和解码器
- 1.5 训练 Transformer
- 1.6 小结
- 1.7 习题
- 1.8 深入阅读
第 2 章 了解 BERT 模型
- 2.1 BERT 的基本理念
- 2.2 BERT 的工作原理
- 2.3 BERT 的配置
- 2.4 BERT 模型预训练
- 2.5 子词词元化算法
- 2.6 小结
- 2.7 习题
- 2.8 深入阅读
第 3 章 BERT 实战
- 3.1 预训练的 BERT 模型
- 3.2 从预训练的 BERT 模型中提取嵌入
- 3.3 从 BERT 的所有编码器层中提取嵌入
- 3.4 针对下游任务进行微调
- 3.5 小结
- 3.6 习题
- 3.7 深入阅读
第二部分 探索 BERT 变体
第 4 章 BERT 变体(上):ALBERT、RoBERTa、ELECTRA 和 SpanBERT
- 4.1 BERT 的精简版 ALBERT
- 4.2 从 ALBERT 中提取嵌入
- 4.3 了解 RoBERTa
- 4.4 了解 ELECTRA
- 4.5 用 SpanBERT 预测文本段
- 4.6 小结
- 4.7 习题
- 4.8 深入阅读
第 5 章 BERT 变体(下):基于知识蒸馏
- 5.1 知识蒸馏简介
- 5.2 DistilBERT 模型——BERT 模型的知识蒸馏版本
- 5.3 TinyBERT 模型简介
- 5.4 将知识从 BERT 模型迁移到神经网络中
- 5.5 小结
- 5.6 习题
- 5.7 深入阅读
第三部分 BERT 模型的应用
第 6 章 用于文本摘要任务的BERTSUM 模型
- 6.1 文本摘要任务
- 6.2 为文本摘要任务微调 BERT 模型
- 6.3 理解 ROUGE 评估指标
- 6.4 BERTSUM 模型的性能
- 6.5 训练 BERTSUM 模型
- 6.6 小结
- 6.7 习题
- 6.8 深入阅读
第 7 章 将 BERT 模型应用于其他语言
- 7.1 理解多语言 BERT 模型
- 7.2 M-BERT 模型的多语言表现
- 7.3 跨语言模型
- 7.4 理解 XLM-R 模型
- 7.5 特定语言的 BERT 模型
- 7.6 小结
- 7.7 习题
- 7.8 深入阅读
第 8 章 Sentence-BERT 模型和特定领域的 BERT 模型
- 8.1 用 Sentence-BERT 模型生成句子特征
- 8.2 sentence-transformers 库
- 8.3 通过知识蒸馏迁移多语言嵌入
- 8.4 特定领域的 BERT 模型:ClinicalBERT 模型和BioBERT 模型
- 8.5 小结
- 8.6 习题
- 8.7 深入阅读
第 9 章 VideoBERT 模型和BART 模型
- 9.1 VideoBERT 模型学习语言及视频特征
- 9.2 了解 BART 模型
- 9.3 探讨 BERT 库
- 9.4 小结
- 9.5 习题
- 9.6 深入阅读
习题参考答案
下载当前版本: 完整PDF书籍链接获取,可以扫描下方二维码免费领取👇👇👇
![](https://img-blog.csdnimg.cn/img_convert/48b4a8109ed3017d67d73709cb15deb8.jpeg)