推荐收藏！大厂 Transformer 常考面试题汇总！

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

---

汇总合集：《大模型面试宝典》(2024版) 发布！

---

今天汇总一些大厂 Transformer 常考面试题，参考答案可以社群获取，喜欢本文记得收藏、关注、点赞。

1. 介绍一下transformer模型，它与RNN/LSTM的区别
2. 画图阐述一下Transformer基本流程
3. 讲讲self-attention机制
4. Transformer中Self-Attention和Attention有什么区别？
5. transformer中位置编码的作用是什么?
6. 在transformer中，同一个词在不同句子中可以有不同的注意力权重吗？
7. 在自注意力层，Transformer如何解决多尺度表示问题？
8. 自注意力机制如何在表示能力和计算效率之间实现平衡？
9. 预归一化（Pre-norm）与后归一化（Post-norm）策略的区别？
10. Transformer采用的两种掩码（mask）技术分别是什么，它们各自的作用是什么？
11. 多模态Transformer如何通过其注意力机制解决数据不平衡问题？

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗技术与面试交流群， 想要获取最新面试题、了解最新面试动态的、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2040，备注：技术交流

面试精选

• 一文搞懂 Transformer

• 一文搞懂 Attention（注意力）机制

• 一文搞懂 Self-Attention 和 Multi-Head Attention

• 一文搞懂 BERT（基于Transformer的双向编码器）

• 一文搞懂 GPT（Generative Pre-trained Transformer）

• 一文搞懂 Embedding（嵌入）

• 一文搞懂 Encoder-Decoder（编码器-解码器）

• 一文搞懂大模型的 Prompt Engineering（提示工程）

• 一文搞懂 Fine-tuning（大模型微调）

• 一文搞懂 LangChain

• 一文搞懂 LangChain 的 Retrieval 模块

• 一文搞懂 LangChain 的智能体 Agents 模块

• 一文搞懂 LangChain 的链 Chains 模块