面了大模型算法岗，被疯狂拷打。。。

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。

针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

合集：

《大模型面试宝典》(2024版) 正式发布！

---

这两天求职群分享了很多大厂的算法岗面试真题，大模型、AIGC、LLM相关的面试题特别多。

要知道现在这类岗位需求增量非常大，而且很高薪！于是Amusi整理了大模型面试高频题，希望对你有所帮助（AI求职群里有数百道大模型题目，还有答案）。

1. 位置编码有哪些？

2. 介绍LoRA与QLoRA

3. RAG和微调的区别是什么？

4. 哪些因素会导致LLM的偏见？

5. 什么是思维链（CoT）提示？

6. Tokenizer的实现方法及原理

7. 解释一下大模型的涌现能力？

8. 解释langchainAgent的概念

9. langchain有哪些替代方案？

10. RLHF完整训练过程是什么？

11. RAG和微调的区别是什么？

12. 有了解过什么是稀疏微调吗？

13. 简述一下FlashAttention的原理

14. 画图说明 Transformer 基本流程

15. LLM预训练阶段有哪几个关键步骤？

16. RLHF模型为什么会表现比SFT更好？

17. LLaMA 模型为什么要用旋转位置编码？

18. DeepSpeed推理对算子融合做了哪些优化？

19. MHA，GQA，MQA三种注意力机制的区别是什么？

20. 为什么现在的大模型大多是 decoder-only 的架构？

21. 训练后量化（PTQ）和量化感知训练（QAT）与什么区别？

我还特别整理15道Transformer高频面试题（求职群里有数百道Transformer题目，还有答案）

1. 介绍Transformer和ViT

2. 介绍Transformer的QKV

3. 介绍Layer Normalization

4. Transformer训练和部署技巧

5. 介绍Transformer的位置编码

6. 介绍自注意力机制和数学公式

7. 介绍Transformer的Encoder模块

8. 介绍Transformer的Decoder模块

9. Transformer和Mamba（SSM）的区别

10. Transformer中的残差结构以及意义

11. 为什么Transformer适合多模态任务？

12. Transformer的并行化体现在哪个地方？

13. 为什么Transformer一般使用LayerNorm？

14. Transformer为什么使用多头注意力机制？

15. Transformer训练的Dropout是如何设定的？

技术交流&资料

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了算法面试和技术交流群，相关资料、技术交流&答疑，均可加我们的交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：来自CSDN + 技术交流

精选

• 轻松构建聊天机器人，大模型 RAG 有了更强大的AI检索器
• 一文搞懂大模型训练加速框架 DeepSpeed 的使用方法！
• 保姆级学习指南：《Pytorch 实战宝典》来了
• MoE 大模型的前世今生
• 从零解读 SAM(Segment Anything Model)
• AI 绘画爆火背后：扩散模型原理及实现
• 从零开始构建和训练生成对抗网络（GAN）模型
• CLIP/LLaVA/LLaVA1.5/VILA 模型全面梳理！
• 从零开始创建一个小规模的稳定扩散模型！
• Stable Diffusion 模型：LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo 等
• 文生图模型：AE、VAE、VQ-VAE、VQ-GAN、DALL-E 等 8 模型
• 一文搞懂 BERT（基于Transformer的双向编码器）
• 一文搞懂 GPT（Generative Pre-trained Transformer）
• 一文搞懂 ViT（Vision Transformer）
• 一文搞懂 Transformer
• 一文搞懂 Attention（注意力）机制
• 一文搞懂 Self-Attention 和 Multi-Head Attention
• 一文搞懂 Embedding（嵌入）
• 一文搞懂 Encoder-Decoder（编码器-解码器）