小白学NLP：BERT知识表示、训练和压缩

基于Transformer的NLP模型现在广泛应用，但我们对它们的内部工作原理仍然知之甚少。

本篇论文的内容包括：

• BERT模型的原理和预训练
• BERT模型适用场景和
• BERT模型分支、压缩和改进方向

BERT模型介绍

BERT是一堆Transformer编码器组成。对于序列中的每个输入，每个头计算键、值和查询向量，用于创建加权表示。同一层中所有头的输出通过一个全连接层运行合并。

原始BERT的训练流程包括两个阶段：预训练和微调。预训练使用两个自监督任务：masked language modeling（MLM，随机屏蔽输入的预测）和next sentence prediction（NSP，预测两个输入句子是否彼此相邻）。在对下游任务进行微调时，通常会在最终编码器层之上添加一个或多个全连接层。

BERT首先将给输入通过wordpieces进行处理，然后将三个嵌入层（标记、位置和段）获得固定长度的向量。特殊标记[CLS]用于预测分类，[SEP]分隔输入输入段。原始BERT有两个版本：base 和 large，分别在层数、隐藏层大小和注意力头数上存在差异。

BERT「掌握」的知识

语法知识

研究表明BERT表示是分层的而不是线性的，除了词序信息之外还有类似于句法树结构的知识。

句法结构似乎并没有直接编码在自注意力权重中，但它们可以从token的表示恢复出来。

BERT对格式错误的输入不敏感，即使打乱词序、截断句子、删除主语和宾语，它的预测也没有改变。

语义知识

BERT能够做出正确的MLM预测，则不是简单的填写单词。BERT可以捕获实体、关系和角色等信息。

BERT很难表示数值，并且很难从训练数据中泛化。其中的一个原因，可能是wordpieces将数字进行了拆分。

通用知识

BERT通过MLM可以进行预测，并比常规的方法行囊够更好。但BERT不能直接用于逻辑推理。

BERT模型训练

Pre-training BERT

原始的 BERT是在两个任务进行预训练：下一句预测 (NSP) 和掩码语言模型 (MLM)。有多项研究对预训练任务进行了改进：

• How to mask

• • with corruption rate and corrupted span length
  • diverse masks for training examples within an epoch
  • replace the MASK token with [UNK] token

• What to mask

• • applied to full words instead of word-pieces
  • mask spans rather than single tokens
  • mask phrases and named entities

• Where to mask

• • arbitrary text streams instead of sentence pairs
  • MLM with partially autoregressive LM

• Alternatives to masking

• • deletion, infilling, sentence permutation and document rotation
  • predict whether a token is capitalized and whether it occurs in other segments of the same documen
  • train on different permutations of word order in the input sequence, maximizing the probability of the original word order
  • detects tokens that were replaced by a generator network rather than masked

• NSP alternatives

• • remove NSP does not hurt or slightly improves performance
  • replace NSP with the task of predicting both the next and the previous sentences
  • replace the negative NSP examples by swapped sentences from positive examples
  • sentence reordering and sentence distance prediction

Fine-tuning BERT

预训练+微调是BERT的使用流程。前者是为了提供任务无关的知识，而后者教导模型学习对当前任务有用的表征。

有多项研究对微调进行了改进：

• Taking more layers into account
• Two-stage fine-tuning
• Adversarial token perturbations
• Adversarial regularization
• Mixout regularization

BERT模型压缩

通过模型蒸馏、量化和剪枝，BERT模型可以在损失较少精度的同时获得成倍的加速。

具体的方法可以参考下表：

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】