2025 年大模型算法工程师相关面试题汇总，建议收藏！

在准备大模型的面试时，我们需要对模型的基础理论、进阶应用、微调策略、以及特定技术如LangChain、参数高效微调（PEFT）等有深入的理解。

这里给大家整理了一份详细的面试题，帮助大家提前进行面试复习，同时对自己的技术进行查漏补缺。

一、大模型基础面试题

1. 目前主流的开源模型体系有哪些？
2. prefix LM 和 causal LM 区别是什么？
3. 涌现能力是啥原因？
4. 大模型LLM的架构介绍？

二、大模型进阶面试题

1. llama 输入句子长度理论上可以无限长吗？
2. 什么是 LLMs 复读机问题？
3. 为什么会出现 LLMs 复读机问题？
4. 如何缓解 LLMs 复读机问题？
5. LLMs 复读机问题
6. llama 系列问题
7. 什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
8. 各个专业领域是否需要各自的大模型来服务？
9. 如何让大模型处理更长的文本？

三、大模型微调面试题

1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？
2. 为什么SFT之后感觉LLM傻了?
3. SFT 指令微调数据 如何构建?
4. 领域模型Continue PreTrain 数据选取？
5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
6. 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？
7. 进行SFT操作的时候，基座模型选用Chat还是Base?
8. 领域模型微调 指令&数据输入格式 要求？
9. 领域模型微调 领域评测集 构建？
10. 领域模型词表扩增是不是有必要的？
11. 如何训练自己的大模型？
12. 训练中文大模型有啥经验？
13. 指令微调的好处？
14. 预训练和微调哪个阶段注入知识的？
15. 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？
16. 多轮对话任务如何微调模型？
17. 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？
18. 微调模型需要多大显存？
19. 大模型LLM进行SFT操作的时候在学习什么？
20. 预训练和SFT操作有什么不同
21. 样本量规模增大，训练出现OOM错
22. 大模型LLM进行SFT 如何对样本进行优化？
23. 模型参数迭代实验

四、大模型langchain面试题

1. 基于LLM+向量库的文档对话 基础面
2. 基于LLM+向量库的文档对话 优化面
3. 基于LLM+向量库的文档对话 工程示例面
4. LLMs 存在模型幻觉问题，请问如何处理？
5. 基于LLM+向量库的文档对话 思路是怎么样？
6. 基于LLM+向量库的文档对话 核心技术是什么？
7. 基于LLM+向量库的文档对话 prompt 模板 如何构建？
8. 痛点1：文档切分粒度不好把控，既担心噪声太多又担心语义信息丢失
9. 痛点2：在基于垂直领域 表现不佳
10. 痛点3：langchain 内置 问答分句效果不佳问题
11. 痛点4：如何 尽可能召回与query相关的Document 问题
12. 痛点5：如何让LLM基于query和context得到高质量的response

避坑记录

本地知识库问答系统（Langchain-chatGLM）

1. 什么是 LangChain?
2. LangChain 包含哪些核心概念？
3. 什么是 LangChain Agent?
4. 如何使用 LangChain ?
5. LangChain 支持哪些功能?
6. 什么是 LangChain model?
7. LangChain 包含哪些特点?
8. LangChain 如何使用?
9. LangChain 存在哪些问题及方法方案？
10. LangChain 替代方案？
11. LangChain 中 Components and Chains 是什么？
12. LangChain 中 Prompt Templates and Values 是什么？
13. LangChain 中 Example Selectors 是什么？
14. LangChain 中 Output Parsers 是什么？
15. LangChain 中 Indexes and Retrievers 是什么？
16. LangChain 中 Chat Message History 是什么？
17. LangChain 中 Agents and Toolkits 是什么？
18. LangChain 如何调用 LLMs 生成回复？
19. LangChain 如何修改 提示模板？
20. LangChain 如何链接多个组件处理一个特定的下游任务？
21. LangChain 如何Embedding & vector store？
22. LangChain 低效的令牌使用问题
23. LangChain 文档的问题
24. LangChain 太多概念容易混淆，过多的“辅助”函数问题
25. LangChain 行为不一致并且隐藏细节问题
26. LangChain 缺乏标准的可互操作数据类型问题

五、大模型参数高效微调(PEFT) 面试题

1. 什么是 LoRA？
2. LoRA 的思路是什么？
3. LoRA 的特点是什么？
4. QLoRA 的思路是怎么样的？
5. QLoRA 的特点是什么？
6. AdaLoRA 的思路是怎么样的？
7. LoRA权重是否可以合入原模型？
8. ChatGLM-6B LoRA后的权重多大？
9. LoRA 微调优点是什么？
10. LoRA微调方法为啥能加速训练？
11. 如何在已有LoRA模型上继续训练？
12. 为什么需要 提示学习（Prompting）？
13. 什么是 提示学习（Prompting）？
14. 提示学习（Prompting） 有什么优点？
15. 提示学习（Prompting）有哪些方法，能不能稍微介绍一下它们间？
16. 为什么需要 P-tuning v2？
17. 为什么需要 P-tuning？
18. 为什么需要 指示微调（Prompt-tuning）？
19. 指示微调（Prompt-tuning）与 Prefix-tuning 区别 是什么？
20. 指示微调（Prompt-tuning）与 fine-tuning 区别 是什么？
21. 为什么需要 前缀微调（Prefix-tuning）？
22. 为什么 需要 适配器微调（Adapter-tuning）？
23. 微调方法是啥？如何微调？
24. 为什么需要 PEFT？
25. 介绍一下 PEFT？
26. PEFT 有什么优点？
27. 微调方法批处理大小模式GPU显存速度？
28. Peft 和 全量微调区别？
29. 多种不同的高效微调方法对比
30. 当前高效微调技术存在的一些问题
31. 高效微调技术最佳实践
32. PEFT 存在问题？
33. 能不能总结一下各种参数高效微调方法？
34. 大模型（LLMs）参数高效微调(PEFT) 面
35. 适配器微调（Adapter-tuning）篇
36. 提示学习（Prompting）

六、大模型推理面试题

1. 为什么大模型推理时显存涨的那么多还一直占着？
2. 大模型在gpu和cpu上推理速度如何？
3. 推理速度上，int8和fp16比起来怎么样？
4. 大模型有推理能力吗？
5. 大模型生成时的参数怎么设置？
6. 有哪些省内存的大语言模型训练/微调/推理方法？
7. 如何让大模型输出合规化
8. 应用模式变更

七、大模型评测面试题

1. 大模型怎么评测？
2. 大模型的honest原则是如何实现的？
3. 模型如何判断回答的知识是训练过的已知的知识，怎么训练这种能力？

八、大模型强化学习面试题

1. 奖励模型需要和基础模型一致吗？
2. RLHF 在实践过程中存在哪些不足？
3. 如何解决 人工产生的偏好数据集成本较高，很难量产问题？
4. 如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题？
5. 如何解决 PPO 的训练过程同时存在4个模型（2训练，2推理），对计算资源的要求较高 问题？

九、大模型训练集面试题

1. SFT（有监督微调）的数据集格式？
2. RM（奖励模型）的数据格式？
3. PPO（强化学习）的数据格式？
4. 找数据集哪里找？
5. 微调需要多少条数据？
6. 有哪些大模型的训练集？
7. 进行领域大模型预训练应用哪些数据集比较好？
8. 大模型（LLMs）显存问题面
9. 大模型（LLMs）分布式训练面

十、大模型Agent 面试题

1. 如何给LLM注入领域知识？
2. 如果想要快速体验各种模型，该怎么办？

十一、Token及模型参数准备篇

1. 预训练数据 Token 重复 是否影响 模型性能？
2. SFT需要训练Token数？

十二、大模型位置编码篇

1. 什么是 长度外推问题？
2. 长度外推问题 的 解决方法 有哪些？
3. 旋转位置编码 RoPE 思路是什么？
4. 推导一下 旋转位置编码 RoPE ？
5. 旋转位置编码 RoPE 有什么优点？
6. 旋转位置编码 RoPE 被哪些 LLMs 应用？
7. 什么是位置编码？
8. 什么是绝对位置编码？
9. 什么是相对位置编码？

十三、大模型 Tokenizer 篇

1. Byte-Pair Encoding(BPE) 如何构建词典？
2. WordPiece 与 BPE 异同点是什么？
3. 简单介绍一下 SentencePiece 思路？
4. 举例 介绍一下 不同 大模型LLMs 的分词方式？
5. 介绍一下 不同 大模型LLMs 的分词方式 的区别？

十四、Layer Normalization 篇

1. LLMs 各模型分别用了 哪种 Layer normalization？
2. LN 在 LLMs 中的不同位置 有什么区别么？如果有，能介绍一下区别么？
3. Deep Norm 有什么优点？
4. Layer Norm 的计算公式写一下？
5. RMS Norm 的计算公式写一下？
6. RMS Norm 相比于 Layer Norm 有什么特点？
7. Deep Norm 思路？
8. 写一下 Deep Norm 代码实现？
9. Layer normalization-方法篇
10. Layer normalization-位置篇
11. Layer normalization 对比篇

十五、大模型激活函数篇

1. 介绍一下 FFN 块 计算公式？
2. 介绍一下 GeLU 计算公式？
3. 介绍一下 Swish 计算公式？
4. 介绍一下 使用 GLU 线性门控单元的 FFN 块 计算公式？
5. 介绍一下 使用 GeLU 的 GLU 块 计算公式？
6. 介绍一下 使用 Swish 的 GLU 块 计算公式？
7. 各LLMs 都使用哪种激活函数？

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】