如果你是一名自然语言处理从业者,那你一定听说过大名鼎鼎的 BERT 模型。
BERT(Bidirectional Encoder Representations from Transformers)在2018年迎来了它的辉煌时刻:在机器理解测试SQuAD中独占鳌头,并在其他十项NLP挑战中取得了压倒性胜利,实现了在多个领域超越人类表现的历史性成就。
BERT模型通过预训练与微调的技术手段,致力于解决自然语言处理(Natural Language Processing, NLP)的各种任务。这些任务涵盖了问答系统、情感分析以及语言推理等多个方面。
朋友们如果需要此本 《BERT基础教程:Transformer大模型实战》,扫码获取~
书籍目录
第一部分 开始使用 BERT
第 1 章 Transformer 概览
- 1.1 Transformer 简介
- 1.2 理解编码器
- 1.3 理解解码器
- 1.4 整合编码器和解码器
- 1.5 训练 Transformer
- 1.6 小结
- 1.7 习题
- 1.8 深入阅读
第 2 章 了解 BERT 模型
- 2.1 BERT 的基本理念
- 2.2 BERT 的工作原理
- 2.3 BERT 的配置
- 2.4 BERT 模型预训练
- 2.5 子词词元化算法
- 2.6 小结
- 2.7 习题
- 2.8 深入阅读
第 3 章 BERT 实战
- 3.1 预训练的 BERT 模型
- 3.2 从预训练的 BERT 模型中提取嵌入
- 3.3 从 BERT 的所有编码器层中提取嵌入
- 3.4 针对下游任务进行微调
- 3.5 小结
- 3.6 习题
- 3.7 深入阅读
第二部分 探索 BERT 变体
第 4 章 BERT 变体(上):ALBERT、RoBERTa、ELECTRA 和 SpanBERT
第 5 章 BERT 变体(下):基于知识蒸馏
第三部分 BERT 模型的应用
第 6 章 用于文本摘要任务的BERTSUM 模型
- 6.1 文本摘要任务
- 6.2 为文本摘要任务微调 BERT 模型
- 6.3 理解 ROUGE 评估指标
- 6.4 BERTSUM 模型的性能
- 6.5 训练 BERTSUM 模型
- 6.6 小结
- 6.7 习题
- 6.8 深入阅读
第 7 章 将 BERT 模型应用于其他语言
- 7.1 理解多语言 BERT 模型
- 7.2 M-BERT 模型的多语言表现
- 7.3 跨语言模型
- 7.4 理解 XLM-R 模型
- 7.5 特定语言的 BERT 模型
- 7.6 小结
- 7.7 习题
- 7.8 深入阅读
第 8 章 Sentence-BERT 模型和特定领域的 BERT 模型
- 8.1 用 Sentence-BERT 模型生成句子特征
- 8.2 sentence-transformers 库
- 8.3 通过知识蒸馏迁移多语言嵌入
- 8.4 特定领域的 BERT 模型:ClinicalBERT 模型和BioBERT 模型
- 8.5 小结
- 8.6 习题
- 8.7 深入阅读
第 9 章 VideoBERT 模型和BART 模型
- 9.1 VideoBERT 模型学习语言及视频特征
- 9.2 了解 BART 模型
- 9.3 探讨 BERT 库
- 9.4 小结
- 9.5 习题
- 9.6 深入阅读
而这本《Transformer自然语言处理实战》涵盖了Transformer在NLP领域的主要应用。本书坐着Lewis Tunstall是Hugging Face机器学习工程师,致力于为NLP社区开发实用工具,并帮助人们更好地使用这些工具。
这本书介绍Transformer模型和Hugging Face 生态系统。然后重点介绍情感分析任务以及Trainer API、Transformer的架构,并讲述了在多语言中识别文本内实体的任务,以及Transformer模型生成文本的能力,还介绍了解码策略和度量指标。
朋友们如果有需要这三本大模型书籍,可以扫码获取~
如果你对NLP领域具有浓厚兴趣,想要获知目前最先进的NLP产品的原理以及训练方式,那么本书一定值得阅读。千言万语,尽在书中。