大模型面经 - 高德

部门与岗位：阿里集团 - 高德 - 数据算法部 - 大模型

一面

1. 自我介绍，讲论文和实习
2. 讲一讲 Transformer 的结构，多头注意力机制的参数量是多少，为什么注意力分数要除以 dk
3. RMSNorm 相比 LayerNorm 有什么区别，Pre-Norm 和 Post-Norm 各有什么优劣，现在主流大模型一般用哪种
4. 除了多头注意力，还了解哪些注意力的改进，讲一下 GQA 和 MQA。DeepSeek-V2 的 MLA 有了解吗，是怎么做的
5. 大模型的后训练流程是什么
6. 讲一下 LoRA 的原理，参数是怎么初始化的，为什么。除了 LoRA，还了解哪些大模型的微调方法
7. 代码：72. 编辑距离

一面八股挺多的，问的知识点也非常多，主要还是考察对于大模型的理解。整体来说难度不算大，复习一下八股应该都比较好答

二面

1. 自我介绍，过论文和实习，论文过的比较细，整体的背景动机、方法、实验结果都详细展开聊了聊
2. 大模型的训练流程是怎样的，目前 RLHF 中主流的强化学习算法有哪些，PPO，DPO 选一个展开讲讲
3. 目前常用的位置编码有哪些，RoPE 为什么外推性比较好
4. 知道哪些在大模型训练或者推理过程中的优化方法，ZeRO、混合精度训练、FlashAttention……
5. 知道大模型的参数量是怎么算出来的吗，比如一个 7B 的模型，估算一下参数量
6. 开放题：一个具体的业务场景，大致就是说目前数据量比较少，怎么训练一个效果还不错的大模型

二面没有写代码，还是主要以八股为主，但是问的范围都比较大，不会针对某个点详细深入，应该是考虑到一面已经问的比较细了，这里就看一下对大模型掌握的广度怎么样

总结

高德就面试了两轮，面试也比较偏八股一些。可能是因为表现不出彩或者成果不突出，所以没有加面，待遇也不怎么好 A

大模型岗位需求

大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

零基础入门AI大模型

今天贴心为大家准备好了一系列AI大模型资源，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》*

1.学习路线图

如果大家想领取完整的学习路线及大模型学习资料包，可以扫下方二维码获取

👉2.大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。(篇幅有限，仅展示部分）

大模型教程

👉3.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（篇幅有限，仅展示部分，公众号内领取）

电子书

👉4.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（篇幅有限，仅展示部分，公众号内领取）

大模型面试

**因篇幅有限，仅展示部分资料，**有需要的小伙伴，可以点击下方链接免费领取【保证100%免费】

点击领取 《AI大模型&人工智能&入门进阶学习资源包》

**或扫描下方二维码领取 **