上海人工智能实验室大模型算法岗（实习）面经分享

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。

---

汇总合集：《大模型面试宝典》(2024版) 发布！

---

今天分享的这位同学来自我们星球成员，面经汇总如下，喜欢记得收藏、关注、点赞，喜欢面试、技术交流，文末加入我们。

---

大家好，我是来自华东师范大学，专业为计算机系，面了上海人工智能实验室大模型算法岗（实习）

问的很细很深，狠狠拷打了80分钟，这个组做 LLM pretrain 的，我主要会 rl，nlp 缺乏点，面完感觉不是特别好。

• 自我介绍
• 项目
• 微调模型训练数据来源？
• LORA的理解
• Ptuning和全量微调对比
• RLHF全流程
• 写出RLHF的优化目标公式
• 目标公式中衰减因子的作用，取大取小有什么影响？
• RLHF的目标公式可以加入什么其他的项？
• 熵正则项是如何加入的？
• KL散度理解？
• RLHF中PPO算比率相对什么来算？
• 其中对数概率的作用？
• 马尔科夫决策过程的定义，有哪些参数变量需要考虑？
• Reward model 训练的loss是什么？
• 模型为什么会胡言乱语？根源在哪？可以考虑如何解决？
• 模型微调会性能下降为什么还需要这一步？
• 文本数据处理到进入模型的整个过程？
• 分词和向量化的过程？
• 模型微调过程中的调参？
• 1.8b和7b使用中的区别？选择？
• Recall，Precision的计算
• 训练数据量级？
• 如何把控数据质量？
• 场景题，在处理数据的时候面对有违规的语料（如黄暴内容）如何平衡Recall，Precision指标
• 对大模型整个发展趋势如何理解？
• 你认为LLM的数据质量的关键在于什么？
• 算法题一，easy 考察正则表达式
• 算法题二，dp ，medium
• 算法题三，栈，easy

技术交流

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了算法岗AIGC面试与技术交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2040。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：技术交流
方式②、添加微信号：mlc2040，备注：技术交流+CSDN

用通俗易懂的方式讲解系列

• 用通俗易懂的方式讲解：不用再找了，这是大模型最全的面试题库
• 用通俗易懂的方式讲解：这是我见过的最适合大模型小白的 PyTorch 中文课程
• 用通俗易懂的方式讲解：一文讲透最热的大模型开发框架 LangChain
• 用通俗易懂的方式讲解：基于 LangChain + ChatGLM搭建知识本地库
• 用通俗易懂的方式讲解：基于大模型的知识问答系统全面总结
• 用通俗易懂的方式讲解：ChatGLM3 基础模型多轮对话微调
• 用通俗易懂的方式讲解：最火的大模型训练框架 DeepSpeed 详解来了
• 用通俗易懂的方式讲解：这应该是最全的大模型训练与微调关键技术梳理
• 用通俗易懂的方式讲解：Stable Diffusion 微调及推理优化实践指南
• 用通俗易懂的方式讲解：大模型训练过程概述
• 用通俗易懂的方式讲解：专补大模型短板的RAG
• 用通俗易懂的方式讲解：大模型LLM Agent在 Text2SQL 应用上的实践
• 用通俗易懂的方式讲解：大模型 LLM RAG在 Text2SQL 上的应用实践
• 用通俗易懂的方式讲解：大模型微调方法总结
• 用通俗易懂的方式讲解：涨知识了，这篇大模型 LangChain 框架与使用示例太棒了
• 用通俗易懂的方式讲解：掌握大模型这些优化技术，优雅地进行大模型的训练和推理！
• 用通俗易懂的方式讲解：九大最热门的开源大模型 Agent 框架来了