2024年大数据最全大模型（LLMs）算法工程师的面试题_大模型开发工程师面试问题，2024年最新腾讯T4架构师

最新推荐文章于 2024-05-30 20:15:33 发布

2301_79988566

最新推荐文章于 2024-05-30 20:15:33 发布

阅读量742

点赞数 16

分类专栏：程序员文章标签：算法面试职场和发展

本文链接：https://blog.csdn.net/2301_79988566/article/details/138460071

版权

程序员专栏收录该内容

185 篇文章 0 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

大模型（LLMs）基础面
- 1. 目前主流的开源模型体系有哪些？
  - 1. prefix LM 和 causal LM 区别是什么？
  - 1. 涌现能力是啥原因？
  - 1. 大模型LLM的架构介绍？
大模型（LLMs）进阶面
- 1. llama 输入句子长度理论上可以无限长吗？
  - 1. 什么是 LLMs 复读机问题？
  - 1. 为什么会出现 LLMs 复读机问题？
  - 1. 如何缓解 LLMs 复读机问题？
  - 1. LLMs 复读机问题
  - 1. llama 系列问题
  - 1. 什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
  - 1. 各个专业领域是否需要各自的大模型来服务？
  - 1. 如何让大模型处理更长的文本？
大模型（LLMs）微调面
- 1. 如果想要在某个模型基础上做全参数微调，究竟需要多少显存？
  - 1. 为什么SFT之后感觉LLM傻了?
  - 1. SFT 指令微调数据如何构建?
  - 1. 领域模型Continue PreTrain 数据选取？
  - 1. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
  - 1. 领域模型Continue PreTrain ，如何让模型在预训练过程中就学习到更多的知识？
  - 1. 进行SFT操作的时候，基座模型选用Chat还是Base?
  - 1. 领域模型微调指令&数据输入格式要求？
  - 1. 领域模型微调领域评测集构建？
  - 1. 领域模型词表扩增是不是有必要的？
  - 1. 如何训练自己的大模型？
  - 1. 训练中文大模型有啥经验？
  - 1. 指令微调的好处？
  - 1. 预训练和微调哪个阶段注入知识的？
  - 1. 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？
  - 1. 多轮对话任务如何微调模型？
  - 1. 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？
  - 1. 微调模型需要多大显存？
  - 1. 大模型LLM进行SFT操作的时候在学习什么？
  - 1. 预训练和SFT操作有什么不同
  - 1. 样本量规模增大，训练出现OOM错
  - 1. 大模型LLM进行SFT 如何对样本进行优化？
  - 1. 模型参数迭代实验
大模型（LLMs）langchain面
- 1. 基于LLM+向量库的文档对话基础面
  - 1. 基于LLM+向量库的文档对话优化面
  - 1. 基于LLM+向量库的文档对话工程示例面
  - 1. LLMs 存在模型幻觉问题，请问如何处理？
  - 1. 基于LLM+向量库的文档对话思路是怎么样？
  - 1. 基于LLM+向量库的文档对话核心技术是什么？
  - 1. 基于LLM+向量库的文档对话 prompt 模板如何构建？
  - 1. 痛点1：文档切分粒度不好把控，既担心噪声太多又担心语义信息丢失
  - 1. 痛点2：在基于垂直领域表现不佳
  - 1. 痛点3：langchain 内置问答分句效果不佳问题
  - 1. 痛点4：如何尽可能召回与query相关的Document 问题
  - 1. 痛点5：如何让LLM基于query和context得到高质量的response
  - 1. 避坑记录
  - 1. 本地知识库问答系统（Langchain-chatGLM）
  - 1. 什么是 LangChain?
  - 1. LangChain 包含哪些核心概念？
  - 1. 什么是 LangChain Agent?
  - 1. 如何使用 LangChain ?
  - 1. LangChain 支持哪些功能?
  - 1. 什么是 LangChain model?
  - 1. LangChain 包含哪些特点?
  - 1. LangChain 如何使用?
  - 1. LangChain 存在哪些问题及方法方案？
  - 1. LangChain 替代方案？
  - 1. LangChain 中 Components and Chains 是什么？
  - 1. LangChain 中 Prompt Templates and Values 是什么？
  - 1. LangChain 中 Example Selectors 是什么？
  - 1. LangChain 中 Output Parsers 是什么？
  - 1. LangChain 中 Indexes and Retrievers 是什么？
  - 1. LangChain 中 Chat Message History 是什么？
  - 1. LangChain 中 Agents and Toolkits 是什么？
  - 1. LangChain 如何调用 LLMs 生成回复？
  - 1. LangChain 如何修改提示模板？
  - 1. LangChain 如何链接多个组件处理一个特定的下游任务？
  - 1. LangChain 如何Embedding & vector store？
  - 1. LangChain 低效的令牌使用问题
  - 1. LangChain 文档的问题
  - 1. LangChain 太多概念容易混淆，过多的“辅助”函数问题
  - 1. LangChain 行为不一致并且隐藏细节问题
  - 1. LangChain 缺乏标准的可互操作数据类型问题
  - 大模型（LLMs）langchain 面
  - 基于LLM+向量库的文档对话经验面
大模型（LLMs）参数高效微调(PEFT) 面
- 一、LoRA篇
  - 二、QLoRA篇
  - 三、AdaLoRA篇
  - 四、LoRA权重是否可以合入原模型？
  - 五、ChatGLM-6B LoRA后的权重多大？
  - 六、LoRA 微调优点是什么？
  - 七、LoRA微调方法为啥能加速训练？
  - 八、如何在已有LoRA模型上继续训练？
  - 1.1 什么是 LoRA？
  - 1.2 LoRA 的思路是什么？
  - 1.3 LoRA 的特点是什么？
  - 2.1 QLoRA 的思路是怎么样的？
  - 2.2 QLoRA 的特点是什么？
  - 3.1 AdaLoRA 的思路是怎么样的？
  - 一、为什么需要提示学习（Prompting）？
  - 二、什么是提示学习（Prompting）？
  - 三、提示学习（Prompting）有什么优点？
  - 四、提示学习（Prompting）有哪些方法，能不能稍微介绍一下它们间？
  - 4.4.1 为什么需要 P-tuning v2？
  - 4.4.2 P-tuning v2 思路是什么？
  - 4.4.3 P-tuning v2 优点是什么？
  - 4.4.4 P-tuning v2 缺点是什么？
  - 4.3.1 为什么需要 P-tuning？
  - 4.3.2 P-tuning 思路是什么？
  - 4.3.3 P-tuning 优点是什么？
  - 4.3.4 P-tuning 缺点是什么？
  - 4.2.1 为什么需要指示微调（Prompt-tuning）？
  - 4.2.2 指示微调（Prompt-tuning）思路是什么？
  - 4.2.3 指示微调（Prompt-tuning）优点是什么？
  - 4.2.4 指示微调（Prompt-tuning）缺点是什么？
  - 4.2.5 指示微调（Prompt-tuning）与 Prefix-tuning 区别是什么？
  - 4.2.6 指示微调（Prompt-tuning）与 fine-tuning 区别是什么？
  - 4.1.1 为什么需要前缀微调（Prefix-tuning）？
  - 4.1.2 前缀微调（Prefix-tuning）思路是什么？
  - 4.1.3 前缀微调（Prefix-tuning）的优点是什么？
  - 4.1.4 前缀微调（Prefix-tuning）的缺点是什么？
  - 4.1 前缀微调（Prefix-tuning）篇
  - 4.2 指示微调（Prompt-tuning）篇
  - 4.3 P-tuning 篇
  - 4.4 P-tuning v2 篇
  - 一、为什么需要适配器微调（Adapter-tuning）？
  - 二、适配器微调（Adapter-tuning）思路？
  - 三、适配器微调（Adapter-tuning）特点是什么？
  - 四、AdapterFusion 思路是什么？
  - 五、AdapterDrop 思路是什么？
  - 六、AdapterDrop 特点是什么？
  - 七、MAM Adapter 思路是什么？
  - 八、MAM Adapter 特点是什么？
  - 微调方法是啥？如何微调？
  - 为什么需要 PEFT？
  - 介绍一下 PEFT？
  - PEFT 有什么优点？