深度剖析：大模型面试题全集，没有一道是送分题

AI大模型-王哥

于 2024-10-10 10:45:00 发布

阅读量836

点赞数 25

文章标签：人工智能大模型学习大模型大模型教程大模型入门 AI大模型

本文链接：https://blog.csdn.net/2401_84204413/article/details/142815383

版权

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

今天分享大模型面试相关知识点，持续更新，希望对后续找工作的有所帮助。喜欢记得点赞、收藏、关注。更多技术交流&面经学习，可以文末加入我们交流群。

1. RAG技术体系的总体思路

数据预处理->分块（这一步骤很关键，有时候也决定了模型的效果）->文本向量化->query向量化->向量检索->重排->query+检索内容输入LLM->输出

2. 使用外挂知识库主要为了解决什么问题

克服遗忘问题
提升回答的准确性、权威性、时效性
解决通用模型针对一些小众领域没有涉猎的问题
提高可控性和可解释性，提高模型的可信度和安全性

3. 如何评价RAG项目效果的好坏

针对检索环节的评估：

MMR 平均倒排率：查询（或推荐请求）的排名倒数
Hits Rate 命中率：前k项中，包含正确信息的项的数目占比
NDCG

针对生成环节的评估：

非量化：完整性、正确性、相关性
量化：Rouge-L

4. 大模型的幻觉问题、复读机问题是什么

幻觉问题：即生成的内容是无意义的或不忠实于提供的源内容

复读机问题：重复生成某些话

5. 针对问题4，有没有什么解决办法

针对幻觉问题：引入外挂知识库，加入一些纠偏规则，限制输出长度等

针对复读机问题：

丰富数据集的多样性，预处理时尽量过滤重复无意义的文本
同义词替换等做数据增强
温度参数调整
后处理与过滤

6. 出现问题4的原因有哪些

7. 当前主流的开源大模型是哪个，其架构具体是怎样的？

当前开源影响范围最广，生态建设最好的开源大模型是Meta的LLaMA。其依旧采用Transformers架构，并做了如下改动：

为了提高训练稳定性，对每个子层做输入前置归一化，归一化函数为RMSNorm（受GPT-3启发）
为了提升性能，SwiGLU激活函数替换ReLU激活函数（受PaLM启发）
从绝对位置嵌入，改为旋转嵌入（受GPT-neo启发）
使用causal multi-head attention的一个高效实现来减少内存占用和运行时间

8. 有哪几种SFT方法

9. 什么是lora微调

12. 什么是LangChain

13. LangChain的常用模块有哪些？

14. SFT和RLHF优劣对比

在这里插入图片描述

15. 详细介绍一下RLHF

16. 大模型训练经常出现一些OOM问题，在现有硬件基础下，有什么性能提升trick

17. LLaMA模型输入句子理论上可以无限长吗？

18. 如何让大模型处理更长的文本？

19. 大模型推理时，显存中有那几部分数据？

20. 介绍下ChatGLM

21. 介绍下GLU激活函数和SwiGLU激活函数

22. LLaMA1/2的异同

23. 模型在训练和推理的时候各占用显存的多少？

24. 详细说说Deepspeed的机制

25. 什么是混合精度训练

26. 什么是prefix LLM和casual LLM

27. 说一说针对MHA后续的一些计算优化工作

28. 说说attention几种常见的计算方式

技术交流&资料

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述