2024面经

腾讯自然语言处理研究实习

一面

1. 围绕项目1讲。IE抽取用了什么模型？怎么建模问题的？
2. 围绕项目2讲。怎么对llama做中文扩展的？有没有预训练（我没有参与预训练）。IFT数据是怎么生成的（我讲了self-instruction，其它其实都是没什么可讲的苦力活）
3. 项目1和项目2涉及的相关八股会问一下。
4. Bert和GPT的区别？
5. LLama和传统Transformers的区别？（我说了pos embed和activation，所以还有什么区别？）
6. 6. Transformer为什么要处以根号d_k?
7. 有什么推理加速的方法？（问vllm，我当时没看，是属于PagedAttention。我自己讲了KV cache，没讲好。好像量化也算。）
8. 介绍PEFT。（我讲了lora，adapter和p-tuning，随便说了下）
9. 介绍Deepspeed。（讲了内存占用包括什么，三个等级分别是optimizer，gradient，weight分片）
10. 介绍一下RAG。（又是乱讲的）
    10.讲了一下研究的论文。（我打开论文给他解释了，其实做的也是一坨）
    代码题：
11. 手写CrossEntropyLoss（笑了，不会写，没背orz）
    11.leetcode（最长上升子序列，想了半天写了个n^2的，麻木了）

二面

1. 自我介绍
2. 让我介绍某篇我觉得写的好的论文（dbq并没有好论文）
3. 给了我一个长文本summerize场景，让我设计流程。（像是Agent开发，其实我一点经验都没有，乱答）。然后让我写prompt（麻木了，我一点都不会写）。
4. 代码题：联通块啥的，乱写。
5. 然后问我大概什么时候能实习，建议我如果想转正的话早点去orz…