一句话应付面试，大模型微调对齐面试题整理

我面试过很多深度学习算法岗候选人，近一年转到阶跃星辰做大模型对齐。

最近招人很多，迫切先给自己训练一下面试题

我从知乎精华回答里挑一些问题，并给出自己的民科参考回答

大模型微调相关：

1.大模型微调的时候，要关注什么超参数，如何选择优化？
2.预训练/微调训练 loss 炸掉了，如何解决？
3.微调过程和结束时，应该看什么评测指标？
4.微调的训练集的格式？
5.如何配比一堆微调训练集？
6.有什么轻量级微调的经验（比如 lora）？
7.如何避免 / 缓解微调时的过拟合？
8.如何快速评估和提升大模型中数据集的质量？
9.微调以后发现模型比预训练还差，可能的情况是？
10.评测微调过程中间结果，有些指标出乎意料的低，可能是为什么？
11.假设要做金融（举个例子）领域，怎么覆盖尽可能全的金融计算公式？
12.微调小模型在哪些方面效果会比大模型差很多？
13.为什么很多国产模型宣称 GPT4 能力？
14.模型输出重复和幻觉如何微调解决？
15.反向做微调修 badcase 的方案？

后文是我的回答，风格比较意识流

我的基本态度 1. 本来炼丹就是炼丹，大模型一般人做不起多少实验，科学结论就更少了，基本人云亦云 2. 既然是找工作，就要有力大砖飞的觉悟 3. 我尽力输出我训练100B+模型获得的认识

---

大模型微调的时候，要关注什么超参数，如何选择优化？

一句话：微调阶段基本没人调超参数

基本可以参照很多论文来选择，微调是个预训练的简化版本，比如参照预训练的工作 OPT 来选，或者直接参照做微调的论文 Deepseek Report，一般框架都选好了

真要答的话：有多少显存就开多大 batchsize，context length 看需求，一般 2048 往上吧，学习率衰减无脑 cosine 最好调试，learning rate 从论文里抄一个（按 batchsize 大小缩放一下）；clip grad 设一个比较稳 0.3 吧，weight decay 有人用 0.1 也有用 0 的；其它更没什么可调了

预训练/微调训练 loss 炸掉了，如何解决？

一句话：预训练魔改重启，微调阶段没多少数据量都能炸，有点离谱吧

预训练炸掉的原因非常难监测，基本上就是一堆统计量某一两个飞了，可以加载前一个 ckpt 调学习率或加约束项尝试渡劫

赶紧 git clone 一个好的框架吧求求了，设小一点学习率再 clip grad 都不知道怎么炸

人家预训练容易炸是因为几千卡，向很多工程问题妥协才引入了一些训练不稳定的问题，就这样也几天才飞一次 loss

微调过程和结束时，应该看什么评测指标？

一句话：KPI 是什么就看什么，主观不好评价的就雇标注员

客观指标我推荐看 GSM8K，MMLU 和 BBH，关心 coding 可以看 Humaneval，能自己建个私有的保证没漏题的榜肯定更好

主观效果没有标注员自己攒个几十条每次扫一眼看看

微调的训练集的格式？

一句话：其实无所谓，看线上怎么用

常见的两种是 “System: Human: Assistant:” 和 “Instruct: Input: Output:” ，前者越来越流行了

多轮的时候就 “System: Human: Assistant: Human: Assistant: …”，难道用的模型不支持这种形式吗？那得看看 包包大人：大模型微调样本构造trick

如何配比一堆微调训练集？

一句话：含错误越少的数据可以占比越高

比如专家写的数据基本多多益善，编程和数学数据训练副作用都还比较小，爬虫爬的题库或者 chatGPT 造的数据比较容易有问题

实践时建议用 orca 这种数据集打个底，多样性不错，容易保持指令遵循能力，又是大模型风格的回答

警惕一些风格怪异的数据，比如说 system prompt 没有任何解释，但是回答却都通过写代码来解题（POT），这种训练完以后模型可能默认行为改变

有什么轻量级微调的经验（比如 lora）？

一句话：别用轻量级微调，租点卡训全参数吧

我知道 lora 似乎在垂域上的效果还行，但都工业界的人了，能不能花点钱租卡，只盯着几千条数据规模实验的话能不能不招人直接外包

反正我宁愿费卡也不愿意引入这种容易锁上限和引入新的问题的技术，我相信可训练参数量大了没坏处

本来大模型就是一把梭的实验风格，把卡省下来然后呢？

如何避免 / 缓解微调时的过拟合？

一句话：数据去重后选大模型，只训练一个 epoch

不要小瞧大模型，只有孱弱到 7B 13B 的模型才需要多个 epoch，才要想着过拟合的问题！70B 一般也只有在 coding/math 这种数据 2 epoch，而且涨点有限。如果卡真的那么多就选更大的模型！

一个 epoch 也能过拟合？那就不要堆格式全都一样的数据，做点高质量的。再说一遍，把 orca 加进去打底，LIMA，no_robot 也好啊。

实在非得上小模型，花点钱加数据量不行吗？

训 MOE 模组？那是我僭越了，MOE 多 epoch 加 dropout 还是好使的

如何快速评估和提升大模型中数据集的质量？

一句话：肉眼抽样看，和 GPT4 的回答对比感受一下哪个好，不如 GPT4 的话调 API 生成数据

训练完有问题再反查，比如学会了某种机械的答题格式，那就把该类数据清洗或者加增广；比如模型生成了怪东西，就把相关污染找出来

微调以后发现模型比预训练还差，可能的情况是？

一句话：抄个成熟方案，做增量实验，实在不行在别人微调完的基础上再微调

尽量训练末期降低学习率，前文说了用 cosine 不亏

监测微调过程中间结果，尽早发现问题

有极少的任务，比如创作生成类任务，可能微调完模型就是创造力缺乏，感觉遏制了模型的天性

除此之外就只能是 bug 或者数据投毒了

评测微调过程中间结果，有些指标出乎意料的低，为什么？

一句话：如果过一会儿就好了，说明在有些评测集上回答格式崩了

比如 GSM8K 可能要求以 “The answer is: ”回答，模型有的时候可能不完全听指令，这时候最好微调带一点相关训练集

loss 炸了跳转第 3 条

假设要做金融（举个例子）领域，怎么覆盖尽可能全的金融计算公式？

一句话：学知识交给继续预训练，微调就是图个激发

知识量靠微调来灌是不行的，一种数据量太大就从通用模型变专用模型了，本来微调对模型的改动相对预训练就是很微弱的

微调小模型在哪些方面效果会比大模型差很多？

一句话：硬核任务体现大模型优势，大模型 COT 也更强

数学和代码是一般模型和 GPT4 最大的差距所在，我还发现模型越大，似乎天然越理解人类价值观

为什么很多国产模型宣称 GPT4 能力？

一句话：防泄题/作弊非常重要，通用和垂域分开看

因为目前几B几十B参数量下，模型记忆力离谱的好，局部泛化能力很强，所以有些小模型能在某些特定榜单刷的巨高，还有很多榜 GPT4 不高但是国产模型可厉害

说不定和测试集很像的东西进了训练集

举个例子，MMLU（英文） 和 CEval（中文） 是比较相似的，都是学科选择题，但是如果后者很高前者不行，那说明喂了很多中文做题数据；还有比如说模型数学题 MATH，GSM8K 刷的巨好，但是看 MMLU 和 CEval 的数学选择题却又很差，基本上是有意或无意地泄题了

训了一个70B模型，结果指标被人家3B、7B模型打爆，这种指标绕着走

如果专精小领域，那数据为王，GPT4 不会的领域还很多

模型输出重复和幻觉如何微调解决？

一句话：修 badcase 还得看强化学习

合成数据放多了微调可能也会提高重复，但是调数据不好压下去，强化学习不香吗

幻觉也是可以造负样本来修

反向做微调修 badcase 的方案？

一句话：得不偿失，还是靠强化学习

虽然这样处理负样本确实会有效果，但是很容易把模型能力搞废

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享]👈

​

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享👈

​