抖音大模型面试经历分享

我主要从事自然语言处理（NLP）工作，同时也涉及多模态和强化学习。当前大环境不太好，可投递的公司并不多，像腾讯主要招聘高级别岗位，所以我没有投递腾讯。

抖音一面

1. 面试官首先与我聊了项目。

2. 接着询问了 AUC 的两种公式，并要求证明这两种公式是否等价。

3. 还问到在 BERT - CRF 中，添加 CRF 的原因以及其好处。

4. 探讨了 self - attention 中使用 QKV 三个矩阵的原因，不使用会有什么问题，以及是否有模型的 Q 和 K 矩阵是一样的。

5. 询问 reinforce（reinforce）属于 on - policy 还是 off - policy 以及原因。

6. 让我说明 reinforce带上基线（baseline）的好处，并写出 reinforce的损失函数。

7. 要求推导策略梯度。

8. 代码题方面，有 leetcode 46 全排列和 leetcode 73 矩阵置 0。我原本以为面试官只会问多模态，没想到他对强化学习也很精通，真的非常厉害，我很好奇他们怎么有那么多时间涉猎这么多领域的知识。

抖音二面

1. 同样先介绍项目。

2. 询问知识蒸馏有哪些种类，以及我认为哪种效果最好。

3. 让我列举 NLP 的数据增强方法，并分别举例。

4. 探讨分类的损失函数为什么是交叉熵而不是均方误差（MSE）。

5. 询问 BERT 对输入文本长度的限制以及限制长度的原因。

6. 询问 BigBird 中包含哪几种注意力机制，以及相比原始 Transformer 的 self - attention 的优势。

7. 给出一个场景题：如何根据拼多多的商品数量，估计淘宝的商品数量。

8. 给出 emb_size、max_len、vocab_size、ff_inner_size、num_heads 以及 12 层，要求计算 BERT 的参数量。

9. 代码题是 n 皇后问题，这是一道 hard 题目，当时我以为自己要挂了，没想到没过几分钟 HR 就告诉我通过了。

抖音三面

1. 简单聊了项目。

2. 询问 CRF 和 HMM 的区别，以及 CRF 比 HMM 效果好的原因。

3. 提出如果 BERT 词表很大，比如 vocab_size 达到几百万该怎么办。

4. 让我快速手写一些 Transformer 的多头注意力（MHA）的伪代码。

5. 探讨为什么对比学习中温度（temperature）很小，而知识蒸馏的温度比较大。

6. 询问我觉得在抖音买东西与在淘宝、拼多多买东西的区别（我没在抖音买过东西，只能现场编造）。

7. 让我介绍最近看到的一些论文。

8. 询问我认为自己有哪些优缺点，以及平时喜欢如何缓解压力。这一面的面试官很和蔼，一直面带微笑，后面就变成了闲聊，整体体验很不错。

最后如果您也对AI大模型感兴趣想学习却苦于没有方向👀

小编给自己收藏整理好的学习资料分享出来给大家💖

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉如何学习AI大模型？👈

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。