去字节面试大模型算法岗，体验极佳！！

最近这一两周看到不少互联网公司都已经开始秋招提前批了。

不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。

最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

《大模型面试宝典》(2024版) 正式发布！

喜欢本文记得收藏、关注、点赞。更多实战和面试交流，文末加入我们

---

今天分享我们一星球成员最新面经:

岗位： 字节大模型算法岗

面试题总结

1. 自我介绍

2. llama2中使用的注意力机制是什么? 手写实现下分组注意力。

3. 了解langchain吗? 讲讲其结构。

4. 对位置编码熟悉吗? 讲讲几种位置编码的异同

5. RLHF的具体工程是什么? 包含了几何模型?

6. 分别讲讲 encoder-only, decoder-only, encoder-decoder 几种大模型的代表作。

7. 具体讲讲 p-tuning, lora 等微调方法, 并指出他们与传统fine-tuning微调有何不同。

8. 显存不够一般怎么解决的?

9. 几种主流大模型的 loss 了解过吗? 有哪些异同?

10. deepspeed 用过吗?

11. 领域模型Continue PreTrain 数据选取?

12. 领域数据训练后, 通用能力往往会有所下降, 如何缓解模型遗忘通用能力?

13. 在指令微调中，如何设定、选择和优化不同的超参数，以及它们对模型效果的具体影响？

14. 如何在指令微调中选择最佳指令策略，以及该策略对模型效果的影响？

15. llama、glm、bloom等现有大型模型的数据处理、训练细节以及模型架构的优化点，包括但不限于注意力机制、归一化和嵌入层

16. 解决显存不足的方法有哪些？

17. 请解释P-tuning的工作原理，并说明其与传统微调方法的不同之处。

入职体验

工作强度

1075工作制，双休，加班的话看部门，有的部门强。而且加班要另外申报，每周至少休息一天，每天加班不能超过三小时。

薪酬福利

薪酬在总的来说还算不错了，社保和公积金12%拉满，入职大礼包，mac笔记本办公。

技术交流

精选

• 轻松构建聊天机器人，大模型 RAG 有了更强大的AI检索器
• 一文搞懂大模型训练加速框架 DeepSpeed 的使用方法！
• 保姆级学习指南：《Pytorch 实战宝典》来了
• MoE 大模型的前世今生
• 从零解读 SAM(Segment Anything Model)
• AI 绘画爆火背后：扩散模型原理及实现
• 从零开始构建和训练生成对抗网络（GAN）模型
• CLIP/LLaVA/LLaVA1.5/VILA 模型全面梳理！
• 从零开始创建一个小规模的稳定扩散模型！
• Stable Diffusion 模型：LDM、SD 1.0, 1.5, 2.0、SDXL、SDXL-Turbo 等
• 文生图模型：AE、VAE、VQ-VAE、VQ-GAN、DALL-E 等 8 模型
• 一文搞懂 BERT（基于Transformer的双向编码器）
• 一文搞懂 GPT（Generative Pre-trained Transformer）
• 一文搞懂 ViT（Vision Transformer）
• 一文搞懂 Transformer
• 一文搞懂 Attention（注意力）机制
• 一文搞懂 Self-Attention 和 Multi-Head Attention
• 一文搞懂 Embedding（嵌入）
• 一文搞懂 Encoder-Decoder（编码器-解码器）