字节面试大模型算法岗，面试题总结

最近这一两周看到不少互联网公司都已经开始秋招提前批了。
不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。

岗位：字节大模型算法岗

面试题总结

1. 自我介绍
2. llama2中使用的注意力机制是什么? 手写实现下分组注意力。
3. 了解langchain吗? 讲讲其结构。
4. 对位置编码熟悉吗? 讲讲几种位置编码的异同
5. RLHF的具体工程是什么? 包含了几何模型?
6. 分别讲讲 encoder-only, decoder-only, encoder-decoder 几种大模型的代表作。
7. 具体讲讲 p-tuning, lora 等微调方法, 并指出他们与传统fine-tuning微调有何不同。
8. 显存不够一般怎么解决的?
9. 几种主流大模型的 loss 了解过吗? 有哪些异同?
10. deepspeed 用过吗?
11. 领域模型Continue PreTrain 数据选取?
12. 领域数据训练后, 通用能力往往会有所下降, 如何缓解模型遗忘通用能力?
13. 在指令微调中，如何设定、选择和优化不同的超参数，以及它们对模型效果的具体影响？
14. 如何在指令微调中选择最佳指令策略，以及该策略对模型效果的影响？
15. llama、glm、bloom等现有大型模型的数据处理、训练细节以及模型架构的优化点，包括但不限于注意力机制、归一化和嵌入层
16. 解决显存不足的方法有哪些？
17. 请解释P-tuning的工作原理，并说明其与传统微调方法的不同之处。

---

文末

有需要全套的AI大模型面试题及答案解析资料的小伙伴，可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】