大模型（LLMs）算法工程师的面试题_大模型开发工程师面试问题

最新推荐文章于 2024-08-28 14:40:07 发布

2401_84181340

最新推荐文章于 2024-08-28 14:40:07 发布

阅读量799

点赞数 25

分类专栏：程序员文章标签：算法面试人工智能

本文链接：https://blog.csdn.net/2401_84181340/article/details/138363380

版权

本文详述了大模型（LLMs）在langchain中的应用，包括文档对话、模型幻觉处理、核心技术和痛点分析。此外，探讨了LoRA、提示学习、适配器微调等高效微调方法，以及大模型的推理和评测挑战。最后，强调了强化学习和团队合作在技术提升中的重要性。

摘要由CSDN通过智能技术生成

+ 3. SFT 指令微调数据 如何构建?
+ 4. 领域模型Continue PreTrain 数据选取？
+ 5. 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？
+ 6. 领域模型Continue PreTrain ，如何 让模型在预训练过程中就学习到更多的知识？
+ 7. 进行SFT操作的时候，基座模型选用Chat还是Base?
+ 8. 领域模型微调 指令&数据输入格式 要求？
+ 9. 领域模型微调 领域评测集 构建？
+ 10. 领域模型词表扩增是不是有必要的？
+ 11. 如何训练自己的大模型？
+ 12. 训练中文大模型有啥经验？
+ 13. 指令微调的好处？
+ 14. 预训练和微调哪个阶段注入知识的？
+ 15. 想让模型学习某个领域或行业的知识，是应该预训练还是应该微调？
+ 16. 多轮对话任务如何微调模型？
+ 17. 微调后的模型出现能力劣化，灾难性遗忘是怎么回事？
+ 18. 微调模型需要多大显存？
+ 19. 大模型LLM进行SFT操作的时候在学习什么？
+ 20. 预训练和SFT操作有什么不同
+ 21. 样本量规模增大，训练出现OOM错
+ 22. 大模型LLM进行SFT 如何对样本进行优化？
+ 23. 模型参数迭代实验

大模型（LLMs）langchain面
- 1. 基于LLM+向量库的文档对话基础面
  - 1. 基于LLM+向量库的文档对话优化面
  - 1. 基于LLM+向量库的文档对话工程示例面
  - 1. LLMs 存在模型幻觉问题，请问如何处理？
  - 1. 基于LLM+向量库的文档对话思路是怎么样？
  - 1. 基于LLM+向量库的文档对话核心技术是什么？
  - 1. 基于LLM+向量库的文档对话 prompt 模板如何构建？
  - 1. 痛点1：文档切分粒度不好把控，既担心噪声太多又担心语义信息丢失
  - 1. 痛点2：在基于垂直领域表现不佳
  - 1. 痛点3：langchain 内置问答分句效果不佳问题
  - 1. 痛点4：如何尽可能召回与query相关的Document 问