【NLP百面百过】大模型算法面试高频面题（全面整理 ʘ‿ʘ）

目录

一、大模型面试指南

重点面题精讲

【LLM面题精讲 - RAG系统面】 查看答案

【LLM面题精讲 - 实体识别面】 查看答案

【LLM面题精讲 - 文本分类面】 查看答案

【LLM面题精讲 - 分布式训练面】 查看答案

【LLM面题精讲 - 大模型微调面】 查看答案

【LLM面题精讲 - 大模型架构面】 查看答案

【LLM面题精讲 - Transformer面】 查看答案

【LLM面题精讲 - LSTM面】 查看答案

【LLM面题精讲 - RNN面】 查看答案

【LLM面题精讲 - Word2Vec面】 查看答案

【LLM面题精讲 - 分词面】 查看答案

高频面题汇总

NLP 基础面 查看答案

BERT 模型面 查看答案

LLMs 微调面 查看答案

二、项目实践

预训练模型

文本分类

LangChain

动手学 RAG

三、算法理论

LLMs篇

BERT篇

Transformer

NLP 基础

四、面经分享

五、大厂AI实践

阿里

百度

腾讯

美团

小米

其他

---

我在 AI 领域工作多年，长期负责算法团队的招聘和面试，我精心整理了大模型面试中的的一些高频面试题，适合大模型初学者和正在准备面试的小伙伴。

本专栏全面总结了【大模型面试】的高频面题和答案解析，答案尽量保证通俗易懂且有一定深度。旨在帮助AI工程师快速完成面试准备，先人一步顺利拿到心仪 Offer 🎉🎉🎉

一、大模型面试指南

重点面题精讲

【LLM面题精讲 - RAG系统面】 查看答案

• 用户问题总是召回不准确，在用户理解阶段可以做哪些优化？

• 文档问答中，如何构建索引，提升对用户问题的泛化能力？

• 如何合并多路检索的结果，对它们做排序？

• BM25检索器总是召回无关的知识，最可能的原因是什么？

• 如何构建重排序模型的微调数据？

• More ......

【LLM面题精讲 - 实体识别面】 查看答案

• 实体识别中有哪些难点？

• 实体识别有哪些常用的解码方式？

• 如何解决实体嵌套问题？

• 实体识别的数据是如何进行标注的？

• 如何解决超长实体识别问题？

• More ......

【LLM面题精讲 - 文本分类面】 查看答案

• 如何用检索的方式做文本分类？

• 如何用Prompt的方式做文本分类？

• 文本分类任务中有哪些难点？

• 如何解决样本不均衡的问题？

• 如果类别会变化如何设计文本分类架构？

• More ......

【LLM面题精讲 - 分布式训练面】 查看答案

• PS架构和Ring-AllReduce架构有何不同？

• 什么是张量并行，如何使用集群计算超大矩阵？

• ZeRO1、ZeRO2、ZeRO3分别做了哪些优化？

• 用DeepSpeed进行训练时主要配置哪些参数？

• More ......

【LLM面题精讲 - 大模型微调面】 查看答案

• 如果想微调大模型本体参数，有哪些训练技巧？

• 什么是BitFit微调？

• 什么是LoRA微调？有哪些可配置的参数？

• 从零训练一个大模型有哪几个核心步骤？

• 如何将一个通用大模型训练成行业大模型？

• 如何准备SFT阶段的训练数据？

• More ......

【LLM面题精讲 - 大模型架构面】 查看答案

• LLM架构对Transformer都有哪些优化？

• 什么是旋转位置编码（RoPE）？

• RoPE相对正弦位置编码有哪些优势？

• RoPE如何进行外推？

• LLM为何使用GQA代替MHA？

• PreNorm和PostNorm有何不同？

• 为何使用RMSNorm代替LayerNorm？

• LLM使用SwiGLU相对于ReLU有什么好处？