大模型（LLMs）面试题汇总：基础篇、进阶篇

一、大模型（LLMs）基础篇

• 目前主流的开源模型体系有哪些？
• prefix LM 和 causal LM 区别是什么？
• 涌现能力是啥原因？
• 大模型LLM的架构介绍？
• 你比较关注那些主流的开源大模型？
• 目前大模型模型结构都有哪些？
• prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点？
• 模型幻觉是什么？业内解决方案是什么？
• 大模型的 Tokenizer 的实现方法及原理？
• ChatGLM3 的词表实现方法？
• GPT3、LLAMA、ChatGLM 的Layer Normalization 的区别是什么？各自的优缺点是什么？
• 大模型常用的激活函数有哪些？
• Multi-query Attention 与 Grouped-query Attention 是否了解？区别是什么？
• 多模态大模型是否有接触？落地案例？

二、大模型（LLMs）进阶面

• llama 输入句子长度理论上可以无限长吗？
• 什么是 LLMs 复读机问题？
• 为什么会出现 LLMs 复读机问题？
• 如何缓解 LLMs 复读机问题？
• LLMs 复读机问题
• llama 系列问题
• 什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
• 各个专业领域是否需要各自的大模型来服务？
• 如何让大模型处理更长的文本？
• 大模型参数微调、训练、推理
• 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？
• 为什么SFT之后感觉LLM傻了？
• SFT 指令微调数据 如何构建？
• 领域模型Continue PreTrain 数据选取？
• 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
• 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？
• 进行SFT操作的时候，基座模型选用Chat还是Base?
• 领域模型微调 指令&数据输入格式 要求？
• 领域模型微调 领域评测集 构建？
• 领域模型词表扩增是不是有必要的？
• 如何训练自己的大模型？
• 训练中文大模型有啥经验？
• 指令微调的好处？
• 预训练和微调哪个阶段注入知识的？
• 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？
• 多轮对话任务如何微调模型？
• 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？
• 微调模型需要多大显存？
• 大模型LLM进行SFT操作的时候在学习什么？
• 预训练和SFT操作有什么不同？
• 样本量规模增大，训练出现OOM错

---

最后

有需要全套的AI大模型面试题及答案解析资料的小伙伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】