掌握 BERT：自然语言处理 (NLP) 从初级到高级的综合指南（1）

简介

BERT（来自 Transformers 的双向编码器表示）是 Google 开发的革命性自然语言处理 (NLP) 模型。它改变了语言理解任务的格局，使机器能够理解语言的上下文和细微差别。在本文[1]中，我们将带您踏上从 BERT 基础知识到高级概念的旅程，并配有解释、示例和代码片段。

BERT简介

什么是 BERT？

在不断发展的自然语言处理 (NLP) 领域，一项名为 BERT 的突破性创新已经成为游戏规则的改变者。 BERT 代表 Transformers 的双向编码器表示，它不仅仅是机器学习术语海洋中的另一个缩写词。它代表了机器理解语言方式的转变，使它们能够理解复杂的细微差别和上下文依赖性，从而使人类交流变得丰富而有意义。

为什么 BERT 很重要？

想象一句话：“她小提琴拉得很漂亮。”传统的语言模型会从左到右处理这个句子，忽略了乐器（“小提琴”）的身份影响整个句子的解释这一关键事实。然而，BERT 明白单词之间的上下文驱动关系在推导含义方面发挥着关键作用。它抓住了双向性的本质，使其能够考虑每个单词周围的完整上下文，彻底改变了语言理解的准确性和深度。

BERT 是如何工作的？

BERT 的核心由称为 Transformer 的强大神经网络架构提供支持。该架构采用了一种称为自注意力的机制，允许 BERT 根据每个单词的前后上下文来衡量其重要性。这种上下文意识使 BERT 能够生成上下文化的词嵌入，即考虑单词在句子中的含义的表示。这类似于 BERT 阅读并重新阅读句子以深入了解每个单词的作用。

考虑一下这句话：“‘主唱’将‘领导’乐队。”传统模型可能会因“领先”一词的模糊性而陷入困境。然而，BERT 毫不费力地区分出第一个“引导”是名词，而第二个“引导”是动词，展示了它在消除语言结构歧义方面的能力。

在接下来的章节中，我们将踏上揭开 BERT 神秘面纱的旅程，带您从基本概念到高级应用。您将探索如何利用 BERT 来执行各种 NLP 任务，了解其注意力机制，深入研究其训练过程，并见证其对重塑 NLP 格局的影响。

当我们深入研究 BERT 的复杂性时，您会发现它不仅仅是一个模型；它也是一个模型。这是机器理解人类语言本质的范式转变。因此，请系好安全带，让我们踏上 BERT 世界的启蒙之旅，在这里，语言理解超越平凡，实现非凡。

BERT 预处理文本

在 BERT 能够对文本发挥其魔力之前，需要以它可以理解的方式准备和结构化文本。在本章中，我们将探讨 BERT 预处理文本的关键步骤，包括标记化、输入格式和掩码语言模型 (MLM) 目标。

标记化：将文本分解为有意义的块

想象一下你正在教 BERT 读书。你不会一次性交出整本书；你会把它分成句子和段落。类似地，BERT 需要将文本分解为称为标记的更小的单元。但这里有一个不同之处：BERT 使用 WordPiece 标记化。它将单词分成更小的部分，比如把“running”变成“run”和“ning”。这有助于处理棘手的单词，并确保 BERT 不会迷失在不熟悉的单词中。

示例：原文：“ChatGPT 令人着迷。” WordPiece 标记：[“Chat”、“##G”、“##PT”、“is”、“fascinating”、“.”]

输入格式：为 BERT 提供上下文

BERT 喜欢上下文，我们需要将它放在盘子里提供给他。为此，我们以 BERT 理解的方式格式化令牌。我们在开头添加特殊标记，例如 [CLS]（代表分类），在句子之间添加 [SEP]（代表分离）。如图（机器语言模型）所示。我们还分配分段嵌入来告诉 BERT 哪些标记属于哪个句子。

示例：原文：“ChatGPT 令人着迷。”格式化标记：[“[CLS]”、“Chat”、“##G”、“##PT”、“is”、“fascinating”、“.”、“[SEP]”]

掩码语言模型 (MLM) 目标：教授 BERT 上下文

BERT 的秘密在于它理解双向上下文的能力。在训练过程中，句子中的一些单词被屏蔽（用 [MASK] 替换），BERT 学习从上下文中预测这些单词。这有助于 BERT 掌握单词前后的相互关系。

示例：原句：“猫在垫子上。”蒙面句子：“[面具]在垫子上。”

此代码使用 Hugging Face Transformers 库通过 BERT 分词器对文本进行分词。

针对特定任务微调 BERT

了解 BERT 的工作原理后，是时候将其魔力付诸实际应用了。在本章中，我们将探讨如何针对特定语言任务微调 BERT。这涉及调整预训练的 BERT 模型来执行文本分类等任务。让我们深入了解一下！

BERT 的架构变化：寻找合适的方案

BERT 有不同的风格，例如 BERT-base、BERT-large 等等。这些变体具有不同的模型大小和复杂性。选择取决于您的任务要求和您拥有的资源。更大的模型可能表现更好，但它们也需要更多的计算能力。

NLP 中的迁移学习：基于预训练知识的构建

将 BERT 想象为一位已经阅读了大量文本的语言专家。我们不是从头开始教它一切，而是针对特定任务对其进行微调。这就是迁移学习的魔力——利用 BERT 预先存在的知识并针对特定任务进行定制。这就像有一位知识渊博的导师，只需要针对特定学科的一些指导。

下游任务和微调：调整 BERT 的知识

我们微调 BERT 的任务称为“下游任务”。示例包括情感分析、命名实体识别等。微调涉及使用特定于任务的数据更新 BERT 的权重。这有助于 BERT 专注于这些任务，而无需从头开始。

• 示例：使用 BERT 进行文本分类

此代码演示了如何使用预训练的 BERT 模型通过 Hugging Face Transformer 进行文本分类。

在此代码片段中，我们加载了一个专为文本分类而设计的预训练 BERT 模型。我们对输入文本进行标记，将其传递到模型中并获得预测。针对特定任务对 BERT 进行微调，使其能够在现实应用中大放异彩。

BERT的注意力机制

现在我们已经了解了如何将 BERT 应用于任务，让我们更深入地了解 BERT 如此强大的原因——它的注意力机制。在本章中，我们将探讨自注意力、多头注意力，以及 BERT 的注意力机制如何使其能够掌握语言的上下文。

Self-Attention：BERT 的超能力

想象一下阅读一本书并突出显示对您来说最重要的单词。自注意力就是这样，但是对于 BERT 来说。它会查看句子中的每个单词，并根据其他单词的重要性决定应给予多少关注。这样，BERT 就可以专注于相关单词，即使它们在句子中相距很远。

多头注意力：团队合作技巧

BERT 不仅仅依赖于一种观点；它使用多个注意力“头”。将这些负责人视为专注于句子各个方面的不同专家。这种多头方法帮助 BERT 捕获单词之间的不同关系，使其理解更丰富、更准确。

BERT 中的注意力：上下文魔法

BERT 的注意力不仅仅局限于单词之前或之后的单词。它考虑了两个方向！当 BERT 读取一个单词时，它并不孤单；它是一个单词。它知道它的邻居。通过这种方式，BERT 生成考虑单词整个上下文的嵌入。这就像理解一个笑话，不仅要通过笑点，还要通过设置。

• 代码片段：可视化注意力权重

在此代码中，我们使用 Hugging Face Transformers 可视化 BERT 的注意力权重。这些权重显示了 BERT 对句子中不同单词的关注程度。

BERT 的注意力机制就像一个聚光灯，帮助它关注句子中最重要的内容。

BERT的训练过程

了解 BERT 如何学习是欣赏其功能的关键。在本章中，我们将揭示 BERT 训练过程的复杂性，包括其预训练阶段、掩码语言模型 (MLM) 目标和下一句预测 (NSP) 目标。

预训练阶段：知识基础

BERT 的旅程从预训练开始，它从大量文本数据中学习。想象一下向 BERT 展示数百万个句子并让它预测缺失的单词。这项练习有助于 BERT 建立对语言模式和关系的扎实理解。

掩码语言模型 (MLM) 目标：填空游戏

在预训练期间，BERT 会得到一些带有掩码（隐藏）单词的句子。然后，它尝试根据周围的上下文来预测那些被屏蔽的单词。这就像填空游戏的语言版本。通过猜测缺失的单词，BERT 可以了解单词之间的相互关系，从而实现其上下文的出色表现。

下一个句子预测（NSP）目标：掌握句子流程

BERT 不仅能理解单词，还能理解单词。它掌握句子的流畅性。在 NSP 目标中，训练 BERT 来预测文本对中一个句子是否在另一个句子之后。这有助于 BERT 理解句子之间的逻辑联系，使其成为理解段落和较长文本的大师。

• 示例：预训练和传销

from transformers import BertForMaskedLM, BertTokenizer
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForMaskedLM.from_pretrained('bert-base-uncased')

text = "BERT is a powerful language model."
inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True, add_special_tokens=True)
outputs = model(**inputs, labels=inputs['input_ids'])

loss = outputs.loss
print(loss)

此代码演示了 BERT 的掩码语言模型 (MLM) 的预训练。该模型在训练时预测屏蔽词，以最大限度地减少预测误差。

BERT 的训练过程就像通过填空和句对理解练习的结合来教它语言规则。在下一章中，我们将深入探讨 BERT 的嵌入以及它们如何为其语言能力做出贡献。保持学习！

BERT 嵌入

BERT 的强大之处在于它能够以捕获特定上下文中单词含义的方式表示单词。在本章中，我们将揭开 BERT 的嵌入，包括其上下文词嵌入、WordPiece 标记化和位置编码。

词嵌入与上下文词嵌入

将词嵌入视为词的代码词。 BERT 通过上下文词嵌入更进一步。 BERT 不是为每个单词只使用一个代码字，而是根据句子中的上下文为同一个单词创建不同的嵌入。这样，每个单词的表示就更加细致入微，并受到周围单词的影响。

WordPiece 标记化：处理复杂词汇

BERT 的词汇就像一个由称为子词的小块组成的拼图。它使用 WordPiece 标记化将单词分解为这些子词。这对于处理又长又复杂的单词以及处理以前从未见过的单词特别有用。

位置编码：导航句子结构

由于 BERT 以双向方式读取单词，因此它需要知道每个单词在句子中的位置。位置编码被添加到嵌入中，以赋予 BERT 空间感知能力。这样，BERT 不仅知道单词的含义，还知道它们在句子中的位置。

• 代码片段：使用拥抱面部变压器提取词嵌入

from transformers import BertTokenizer, BertModel
import torch

tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')model = BertModel.from_pretrained('bert-base-uncased')
text = "BERT embeddings are fascinating."inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True, add_special_tokens=True)
outputs = model(**inputs)

word_embeddings = outputs.last_hidden_state
print(word_embeddings)

此代码展示了如何使用 Hugging Face Transformers 提取词嵌入。该模型为输入文本中的每个单词生成上下文嵌入。

BERT 的嵌入就像一个语言游乐场，单词在这里获得基于上下文的独特身份。

未完待续！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】