大模型面试系列（三）| 46道大模型（LLM）面试题汇总（模型架构、训练、评估、优化、应用）

以下面试题涵盖了大型语言模型（LLM）的多个方面，包括模型架构、训练、评估、优化和应用

模型架构与基础

• 简述GPT和BERT的区别
• 讲一下GPT系列模型是如何演进的
• 为什么现在的大模型大多是decoder-only的架构
• 简述Transformer基本原理
• 为什么Transformer的架构需要多头注意力机制
• transformers需要位置编码吗
• transformer中，同一个词可以有不同的注意力权重吗
• Wordpiece与BPE之间的区别是什么

工作机理与生成模型

• 讲一下生成式语言模型的工作机理
• LLM中的因果语言建模与掩码语言建模有什么区别

性能评估与偏见问题

• 如何评估大语言模型（LLMs）的性能
• 哪些因素会导致LLM的偏见

微调技术与应用

• 解释ChatGPT的零样本和少样本学习的概念
• 你了解大型语言模型中的哪些分词技术
• 如何缓解LLMs重复读问题

优化与推理技术

• 有哪些常见的优化LLMs输出的技术
• 介绍下PPO算法流程，它跟TRPO的区别是什么
• 请简述下FlashAttention的原理

模型效率与量化

• GPT-3拥有的1750亿参数，是怎么算出来的
• 温度系数和top-p，top-k参数有什么区别
• 训练后量化（PTQ）和量化感知训练（QAT）与什么区别
• LLMs中，量化权重和量化激活的区别是什么

模型部署与推理优化

• 介绍一下GPipe推理框架
• 矩阵乘法如何做张量并行

模型架构细节与注意力机制

• 为什么transformer块使用LayerNorm而不是BatchNorm
• 介绍一下postlayernorm和prelayernorm的区别

提示技术与高级应用

• 什么是思维链（CoT）提示
• 你觉得什么样的任务或领域适合用思维链提示
• 你了解ReAct吗，它有什么优点

模型微调与效率优化

• 解释一下langchainAgent的概念
• langchain有哪些替代方案
• langchaintoken计数有什么问题？如何解决

训练技术与微调方法

• LLM预训练阶段有哪几个关键步骤
• RLHF模型为什么会表现比SFT更好
• 参数高效的微调（PEFT）有哪些方法

微调技术细节

• LORA微调相比于微调适配器或前缀微调有什么优势
• 有了解过什么是稀疏微调吗

评测方法与基准

• 大模型一般评测方法及基准是什么

知识更新与RAG

• 为什么LLM的知识更新很困难
• RAG和微调的区别是什么

其他技术与概念

• 什么是KVCache技米，它真体是如何实现的
• DeepSpeed推理对算子融合做了哪些优化
• MHA，GQA，MQA三种注意力机制的区别是什么
• 请介绍一下微软的ZeRO优化器
• PagedAttention的原理是什么，解决了LLM中的什么问题
• 什么是投机采样技术，请举例说明

---

文末

有需要全套的AI大模型面试题及答案解析资料的小伙伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】