首先自我介绍(一段llm独角兽实习+几个校内💦项目)
然后面试官让我详细介绍一下项目,围绕项目提了些问题
1️⃣是否了解主流的mllm?我说了qwen-vl、llava、blip
2️⃣了解它们所用的技术吗?我说只大概了解一些,因为我们的任务主要是针对细致感知,这方面的工作比较少
3️⃣介绍一下主流的llm架构?我说了以Bert为代表的encoder-only、以GPT、llama为代表的decoder-only和以GLM为代表的encoder+decoder
4️⃣llm的训练方法?举了GLM的例子
5️⃣问我项目用的什么微调方法?我说一个是全量微调,一个是lora
6️⃣lora的实现细节?秩如何选择?开始吟唱低秩矩阵balabala,秩的选择要看任务的需求,一般选4/8/16?
7️⃣问了项目中的一个术语,是别人的方法,还是自己的创新?不太了解,就是公司内部的叫法
8️⃣介绍一下最近看的一篇论文?说了个thu的工作,后面才知道面试官也是thu毕业的。。。
9️⃣本科时候就进组了?我说是的,但做的不是AI方向
1️⃣0️⃣为什么保研的时候选择了xx学校?考虑到地域+导师
接着就做了道leetcode,反转链表中的一段~
最后是反问,我问了实习生具体的工作内容,主要是自研基座的研究分析,会涉及到SFT/DPO
总结:面试体验很好~面试官很nice,而且整体面的不难,更多是广度上的问题,没有怎么拷打