算法工程师（NLP/搜索推荐/机器学习) 常考面试题总结

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

汇总合集

• 《大模型面试宝典》(2024版) 正式发布！
• 《大模型实战宝典》（2024版）正式发布！

今天分享一位我们社群成员的分享总结，喜欢记得收藏、点赞、关注，更多技术交流，文末加入我们社群。

---

背景：女生，top985 CS 本硕，研究生的方向偏向于NLP/搜索推荐，2024届秋招拿了阿里、百度、联想等offer。

大家都知道今年秋招形式很艰难，互联网大厂更是几乎不招人，面试前在社群收获了很多经验，为此面试前做了很多准备，感谢社群中大佬的帮助。

面试过程中大概记录和整理面试问的高频问题，包括高频很常见的算法面试题（或者说八股文），发上来给大家，希望能够对各位有所帮助～

同时感觉有一些特别的变化就是面试题特别的新，大模型相关的内容也会经常出现，祝大家收获心仪的offer！

【SVM原理】

1. SVM原理介绍
2. 为什么激活函数用sigmoid?
3. 为什么损失函数用交叉熵? (两个角度: 极大似然估计、KL散度)
4. 交叉熵公式推导

【LR逻辑回归】

1. 原理介绍
2. 为什么激活函数用sigmoid?
3. 为什么损失函数用交叉熵?

【模型的参数可不可以初始化为0?】

1. 注意和“神经网络里隐层可不可以初始化为0”进行区分

【集成学习】

1. Bagging和boosting的区别(样本选择上、样例权重组、预测函数、并行计算、方差偏分解)
2. 随机森林、GBDT、XGBoost、LightGBM等模型介绍和优缺点
3. GBDT如何做分类?

【决策树】

1. 常见的树模型及其简介
2. 各种生成和剪枝方法

【EM算法】

3. 算法原理
4. 收敛性：EM是局部最优还是全局最优？

【过拟合】

5. 解决过拟合的方法（正则化、BatchNorm和LayerNorm、Dropout、增加训练数据、数据增强、标签平滑、引入先验知识、交叉验证、预训练等）
6. Dropout为什么可以解决过拟合？

【方差偏差分解】

7. 解释什么是方差什么是偏差
8. 为什么bagging降低方差（偏差不变），而boosting降低偏差？
9. 公式推导

【归一化】

10. 为什么要归一化
11. 各种归一化的区别和优缺点
12. 为什么 NLP 不用 BatchNorm？*出现频率极高

【正则化】

13. L1 和 L2 正则化怎么做
14. L1 和 L2 分别会有什么现象，代表什么先验分布

【初始化】

15. 不同网络的初始化有什么区别？
16. 神经网络隐层可以全部初始化为 0 吗？

【激活函数】

17. 优缺点
18. sigmoid、tanh、relu、gelu

【损失函数】

19. 二分类的损失函数
20. 为什么分类不用 MSE？

【信息论】

1. 信息熵、条件熵、联合熵、相对熵、互信息的概念
2. 交叉熵和 KL 散度的区别

【样本不均衡】

(降/过采样，带权重的 loss)

【数据预处理】

(离散特征和连续特征)

【梯度消失和梯度爆炸】

1. 梯度消失和梯度爆炸的原因
2. 处理方法

【优化器】

1. 原理、发展过程、公式、公式符号的意思
2. SGD、AdaGrad、RMSProp、AdaDelta、Adam、AdamW
3. 从 SGM 到 Adam 做了哪些改进 (自适应的学习率、动量)
4. Adam 和 AdamW 有什么区别

【评价指标】

1. Acc、Precision、Recall、F1、ROC、AUC
2. AUC 为什么好，工业界为什么选择用 AUC
3. 代码实现 AUC，需要写出工业界的实现方案

【BERT 和 Transformer】

1. 简单介绍一下 BERT/Transformer

2. BERT 的两个训练任务是什么？(MLM 和 Next Sentence Prediction)

3. BERT 的优化器(AdamW)？和 Adam 的区别？

4. Attention 和 self-attention 有什么区别？

5. Self-attention 的公式、计算过程 *出现频率极高

6. 多头的意义，多注意力会增加模型的计算时间吗

7. Transformer 的复杂度

8. 对比 LSTM、CNN 和 Transformer，Transformer 的优点是什么(上下文感知、并行处理)

9. BERT 中如何解决 OOV(Out of Vocabulary)

【大模型】

1. 讲一下GPT系列模型是如何演进的？
2. 为什么现在的大模型大多是decoder-only的架构？
3. 讲一下生成式语言模型的工作机理
4. 哪些因素会导致LLM的偏见？
5. LLM中的因果语言建模与掩码语言建模有什么区别？
6. 如何减轻LLM中的幻觉现象？
7. 解释ChatGPT的零样本和少样本学习的概念
8. 你了解大型语言模型中的哪些分词技术？
9. 如何评估大语言模型（LLMs）的性能？
10. 如何缓解LLMs复读机问题？
11. 如何缓解LLMs重复读问题？

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群， 想要获取最新面试题、了解最新面试动态的、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：技术交流

用通俗易懂方式讲解系列

• 《大模型面试宝典》(2024版) 正式发布！

• 《大模型实战宝典》（2024版）正式发布！

• 用通俗易懂的方式讲解：自然语言处理初学者指南（附1000页的PPT讲解）

• 用通俗易懂的方式讲解：1.6万字全面掌握 BERT

• 用通俗易懂的方式讲解：NLP 这样学习才是正确路线

• 用通俗易懂的方式讲解：28张图全解深度学习知识！

• 用通俗易懂的方式讲解：不用再找了，这就是 NLP 方向最全面试题库

• 用通俗易懂的方式讲解：实体关系抽取入门教程

• 用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer

• 用通俗易懂的方式讲解：图解 Transformer 架构

• 用通俗易懂的方式讲解：大模型算法面经指南（附答案）

• 用通俗易懂的方式讲解：十分钟部署清华 ChatGLM-6B，实测效果超预期

• 用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain

• 用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统

• 用通俗易懂的方式讲解：最全的大模型 RAG 技术概览

• 用通俗易懂的方式讲解：利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序

• 用通俗易懂的方式讲解：使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA

• 用通俗易懂的方式讲解：面了 5 家知名企业的NLP算法岗(大模型方向)，被考倒了。。。。。

• 用通俗易懂的方式讲解：NLP 算法实习岗，对我后续找工作太重要了！。

• 用通俗易懂的方式讲解：理想汽车大模型算法工程师面试，被问的瑟瑟发抖。。。。

• 用通俗易懂的方式讲解：基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统

• 用通俗易懂的方式讲解：面试字节大模型算法岗(实习)

• 用通俗易懂的方式讲解：大模型算法岗(含实习)最走心的总结

• 用通俗易懂的方式讲解：大模型微调方法汇总