米哈游大模型算法岗，竞争真的太激烈了！

节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型技术趋势、算法项目落地经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

总结链接如下：

《大模型面试宝典》(2024版) 发布！

喜欢本文记得收藏、关注、点赞。更多实战和面试交流，文末加入我们星球

---

不得不说，米哈游真的是大热门，面试真的好多好多人，竞争真的好激烈！

还好我提前看了一些面试高频问题和面经分享，成功拿下了梦想中的 offer！

今天和大家分享一下最近常被问到的面试题，希望助力大家都能拿到心仪的offer！

面试题

1. 请简述什么是大模型，以及它与传统模型的主要区别是什么？

2. 你如何评估大模型的性能？有哪些常用的评估指标？

3. 请描述一下你如何对大模型进行优化，以提高其性能和效率。

4. 你是否有过使用或开发大模型的经验？请分享一个具体的案例。

5. 大模型中的注意力机制是如何工作的？它在大模型中起到了什么作用？

6. 大模型中的优化算法有哪些常见的选择？它们各有什么优缺点？

7. 如何处理大模型训练过程中的梯度消失或梯度爆炸问题？

8. 在大模型设计中，如何权衡模型的复杂度和性能？

9. 面对大模型训练和推理所需的庞大计算资源，你有什么解决建议？

10. 请简述你了解的大模型的主要结构特点。

11. reward bench上的reward model分哪几类? reward model如何训练的，训练目标是什么?

12. dp0训练的损失函数和训练目标，dpo如何改进

13. 怎么理解大模型安全，包含哪些方面的内容？

14. 指令跟随能力的评估集有什么，如何评估的?

15. 阿尔法狗强化学习策略是什么?

16. 提升推理能力和指令跟随能力哪个更难, 为什么, 提升指令跟随能力的优化方式和其他的比如推理有什么不一样的地方

17. dpo训完了一般输出长度会变化吗? 如何解决这个问题

18. 大模型训练过程学习率一般是怎么变化的, 退火阶段学习率如何变化的

19. 在开发大模型时，当你面临推理阶段的资源需求时，你如何确保模型的可解释性和公平性？

20. 谈谈你对Transformer模型的理解，以及它在自然语言处理中的应用。

21. 请简述Transformer的基本结构和工作原理？

22. 为什么Transformer使用位置编码(Positional Encoding)？

23. 如何优化 Transformer 模型的性能？

24. Transformer在自然语言处理中有哪些应用？

25. transformer里边norm的位置在哪里,norm如何计算的

26. 多头自注意力机制的作用是什么？

27. 注意力机制为什么除以根号dk, 为什么不是dk

28. 请解释什么是注意力机制，并举例说明其应用场景。

29. 注意力机制是如何工作的？请简述其计算过程。

30. 多头注意力机制是什么？它相比单头注意力有什么优势？

技术交流