字节大模型算法岗面试，问的贼细！

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型&多模态技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

总结链接如下：

《大模型面试宝典》(2024版) 正式发布！

喜欢本文记得收藏、关注、点赞。更多实战和面试交流，文末加入我们交流

---

大家好，今天分享我们星球一个球友4面字节智创多模态算法岗面经。

从一面到四面，可以清晰的感受到对知识的要求不能仅流于表面，一面二面考察知识面较广。

三面四面考察知识深度，面试官追着一个问题不断深挖，并且会有挖坑的提问。

一面

介绍自己 Diffusion 实习内容

QA：

1. GAN 和 diffusion 的优势
2. 为什么 GAN 不稳定
3. 对大模型哪个比较熟悉, 那比如 DALL·E 2, 它怎么通过文本来实现对图像的控制?
4. 了解 CLIP, GPT-4, miniGPT-4, LLaMA 吗
5. CLIP 原理, 模型怎么训练的
6. 讲解强化学习 PPO 模型

手撕部分：

爬楼梯最小消耗

二面

QA：

1. stable diffusion, cross attention 怎么做的，文本怎么控制图像生成的，文本没有权重是怎么控制的?
2. stable diffusion 不稳定的原因
3. clip 是怎么提取文本，clip 的缺点
4. lora原理, 训练, 推理过程中有额外计算吗
5. ddpm 和 ddim 的关系
6. self attention 和 cross attention 的区别
7. 对 inpainting 了解吗?
8. stable diffusion 生成结果怎么评价，定量指标
9. stable diffusion 训练推理过程
10. RL 中 policy-based 采样问题
11. reward 的设计问题，Actor critic 怎么调参

手撕部分：

找数组的两峰

三面

仔细讲 2 个实习的算法模型，并提问

QA：

1. Diffusion 采样方式都有哪些，DPM+/DPM++
2. Pixel diffusion 有哪些
3. 讲 Imagen
4. 细致讲从 DALLE 1 如何发展到 DALLE 3，每个算法的核心原理，每次的创新是什么
5. 追算法原论文

手撕部分：

字符串最长的无重复字符的最长子串

四面

讲一个认为最 solid 的实习

QA：

1. 推 DDPM 公式
2. 讲解 PPO 算法，推公式
3. 对 image verification 怎么做，输入是图片的话，mid journey 可以调整下一步图片
4. PyTorch 中 nn.eval 函数和训练的区别，BN，dropout 训练和测试的区别

精选

• 轻松构建聊天机器人，大模型 RAG 有了更强大的AI检索器
• 一文搞懂大模型训练加速框架 DeepSpeed 的使用方法！
• 保姆级学习指南：《Pytorch 实战宝典》来了
• MoE 大模型的前世今生
• 从零解读 SAM(Segment Anything Model)
• AI 绘画爆火背后：扩散模型原理及实现
• 从零开始构建和训练生成对抗网络（GAN）模型
• CLIP/LLaVA/LLaVA1.5/VILA 模型全面梳理！
• 从零开始创建一个小规模的稳定扩散模型！
• Stable Diffusion 模型：LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo 等
• 文生图模型：AE、VAE、VQ-VAE、VQ-GAN、DALL-E 等 8 模型
• 一文搞懂 BERT（基于Transformer的双向编码器）
• 一文搞懂 GPT（Generative Pre-trained Transformer）
• 一文搞懂 ViT（Vision Transformer）
• 一文搞懂 Transformer
• 一文搞懂 Attention（注意力）机制
• 一文搞懂 Self-Attention 和 Multi-Head Attention
• 一文搞懂 Embedding（嵌入）
• 一文搞懂 Encoder-Decoder（编码器-解码器）