26备战秋招day16——大模型

最新推荐文章于 2025-06-09 23:54:15 发布

如意鼠

最新推荐文章于 2025-06-09 23:54:15 发布

阅读量1k

点赞数 39

分类专栏： 26秋招文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/weixin_43784706/article/details/144289786

版权

26秋招专栏收录该内容

19 篇文章

订阅专栏

1. 预训练阶段（Pretraining Stage）

问：什么是大规模语言模型的预训练阶段？
答：
预训练是大语言模型的基础阶段，目标是让模型学习语言的结构、语法和常识。这个阶段主要通过 Next Token Prediction 任务来训练模型，即给定一段文本，模型需要预测下一个单词。常见的训练方法包括自回归模型，目标是最小化生成文本和真实文本之间的差异。

问：预训练中 tokenizer 的作用是什么？
答：
Tokenizer 是将原始文本转化为模型可以理解的单元（如词或字符）。常见的分词方法有 WordPiece 和 BPE（Byte Pair Encoding）。BPE 将词拆解为较小的字符级单位，适合多语言模型。而 BBPE（Byte-level BPE） 解决了 OOV（Out of Vocabulary）问题，特别适合处理多语言和中文数据。

问：如何处理中文文本中的 OOV 问题？
答：
在多语言模型中，中文词汇丰富且难以覆盖所有可能的字词。为了解决这个问题，可以在训练过程中扩充词表，手动加入常见的汉字和词语。这一过程被称为“词表扩充”，可以减少未登录词（OOV）对模型性能的影响。

问：预训练阶段如何进行数据预处理？
答：
预训练数据需要经过精心预处理，确保能够适应模型的输入限制。比如对于长文本，通常会将其分割为多个片段，每个片段长度控制在最大 token 长度限制内（例如2048 token）。此外，还会对文本进行清理，去除噪声数据，确保输入的数据具有代表性和高质量。

问：预训练阶段的效果如何评估？
答：
常见的评估指标有 PPL（Perplexity） 和 BPC（Bits Per Character）。这两个指标用于评估模型生成文本的流畅度和准确性。但仅凭这些指标，不能完全衡量模型的知识蕴含能力，因此需要结合其他测试集，如 C-Eval，评估模型的常识和专业知识。

2. 指令微调阶段（Instruction Tuning Stage）

问：指令微调的目的是什么？
答：
指令微调的目的是让预训练模型不仅能够生成流畅的语言，还能根据特定指令生成有用的答案。预训练模型通常只是通过续写文本来训练，无法直接回答具体问题，因此需要通过指令微调来让模型学习如何根据用户的指令进行有效的任务响应。

问：什么是 Self Instruction？
答：
Self Instruction 是一种通过现有语言模型（如 ChatGPT）生成问题和答案对的方法。这种方法通过生成 指令-输入-输出 数据对，减少了人工标注的工作量。例如，给模型提供一个问题和正确答案，让模型自动生成更多类似的问答对。

问：指令微调阶段的训练数据从哪里来？
答：
指令微调的数据集可以来自开源项目，如 Alpaca 和 BELLE。这些数据集通过人工或自动化方法生成大量的 指令-输入-输出 数据，涵盖了问答、分类、重写、摘要等多种任务类型，用于训练模型如何根据不同类型的指令生成合理的输出。

问：如何评估指令微调后的模型效果？
答：
评估指令微调后的模型效果通常依赖于人工评审或自动化评分工具。例如，可以使用 GPT-4 来对生成的答案进行打分，并与基准模型进行比较。此外，评估也可以通过模拟用户真实需求的测试集来进行。

3. 奖励模型（Reward Model）

问：奖励模型的作用是什么？
答：
奖励模型（RM）的作用是对模型的输出进行评估，指导后续的强化学习阶段。奖励模型可以告诉训练系统哪个生成结果更符合目标，帮助模型优化输出质量，避免产生低质量或不符合人类需求的文本。

问：奖励模型是如何训练的？
答：
奖励模型通常通过 偏序对（pairwise comparison）来训练，即不直接为每个样本打分，而是标注样本之间的好坏关系。例如，给出两个生成的句子，标注哪个更好。模型通过最大化好句子和坏句子之间的分差来学习如何评估文本质量。

问：偏序对（Pairwise Comparison）有什么优势？
答：
偏序对比直接评分的优势在于其更加简化且更容易收集。因为我们并不需要为每个生成结果提供一个绝对的评分，而只需要对比两个结果的好坏。这种方法避免了评分过程中的主观性，并能够有效提升模型在评估任务中的表现。

4. 强化学习（Reinforcement Learning，PPO）

问：为什么需要强化学习阶段？
答：
强化学习阶段的目的是通过奖励模型的反馈，进一步优化模型的输出行为。在模型已经能生成一定质量的文本后，强化学习帮助模型在任务上进行 策略优化，使其生成更加符合人类预期的答案。强化学习是让模型不断进化、提高任务完成度的重要步骤。

问：PPO 是什么，它在训练中起到什么作用？
答：
PPO（Proximal Policy Optimization） 是一种强化学习算法，它通过 Actor-Critic 模型架构来优化语言模型的输出。在 PPO 中，Actor 模型负责生成输出，而 Critic 模型则负责评估输出质量。PPO通过引入 重要性采样（Importance Sampling） 来提高数据利用率，并且通过 KL Penalty 限制模型的过度优化，防止训练不稳定。

问：BON 和 PPO 有什么区别？
答：
BON（Best-of-N） 是一种采样方法，通过生成多个候选答案并选择得分最高的答案来训练模型。它更注重样本的探索，但每轮训练只进行一次采样。而 PPO 是基于策略优化的强化学习方法，它通过不断的 采样-更新 过程，逐步优化模型的生成策略，从而实现更高效的训练和更好的最终效果。与BON相比，PPO的训练效果通常更好，但训练过程更加复杂和不稳定。