腾讯自然语言处理研究实习
一面
- 围绕项目1讲。IE抽取用了什么模型?怎么建模问题的?
- 围绕项目2讲。怎么对llama做中文扩展的?有没有预训练(我没有参与预训练)。IFT数据是怎么生成的(我讲了self-instruction,其它其实都是没什么可讲的苦力活)
- 项目1和项目2涉及的相关八股会问一下。
- Bert和GPT的区别?
- LLama和传统Transformers的区别?(我说了pos embed和activation,所以还有什么区别?)
-
- Transformer为什么要处以根号d_k?
- 有什么推理加速的方法?(问vllm,我当时没看,是属于PagedAttention。我自己讲了KV cache,没讲好。好像量化也算。)
- 介绍PEFT。(我讲了lora,adapter和p-tuning,随便说了下)
- 介绍Deepspeed。(讲了内存占用包括什么,三个等级分别是optimizer,gradient,weight分片)
- 介绍一下RAG。(又是乱讲的)
10.讲了一下研究的论文。(我打开论文给他解释了,其实做的也是一坨)
代码题: - 手写CrossEntropyLoss(笑了,不会写,没背orz)
11.leetcode(最长上升子序列,想了半天写了个n^2的,麻木了)
二面
- 自我介绍
- 让我介绍某篇我觉得写的好的论文(dbq并没有好论文)
- 给了我一个长文本summerize场景,让我设计流程。(像是Agent开发,其实我一点经验都没有,乱答)。然后让我写prompt(麻木了,我一点都不会写)。
- 代码题:联通块啥的,乱写。
- 然后问我大概什么时候能实习,建议我如果想转正的话早点去orz…