已成功入职小米大模型算法岗！大模型面试其实挺水的，hr听到这些直接过【附面试题PDF】

大模型面试其实挺水的，hr听到这些直接过

这份《小米大模型算法岗面试题+答案详解》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

PDF书籍： 完整版本链接获取

👉[CSDN大礼包🎁：《小米大模型算法岗面试题+答案详解》免费分享（安全链接，放心点击）]👈

1、目前比较受欢迎的开源大模型有哪些？

GPT系列：由OpenAl开发的生成式预训练模型，如 GPT-3。
BERT系列：由Google开发的转换式预训练模型，如BERT、RoBERTa等。
T5系列：由Google开发的基于Transformer的编码器-解码器模型，如T5、mT5等。

2、微调模型需要多大显存?

微调模型需要的显存取决于模型的规模、任务复杂度、数据量等因素。一般来说，微调模型需 要的显存通常比预训练模型少，因为微调涉及到更新的参数较少。然而，具体需要的显存仍然需要根据实际情况进行评估和调整。

3、如何提升大模型的检索效果?

• 优化索引：使用更高效的索引结构，如倒排索引、BM25等。

• 特征工程：提取和利用有效的特征，如文本向量、词频等。

• 模型选择：选择合适的检索模型，如基于向量的相似度计算、基于排序的模型等。

• 训练策略：使用训练策略，如多任务学习、知识蒸馏等，来提高模型的性能。

• 训练策略：使用训练策略，如多任务学习、知识蒸馏等，来提高模型的性能。

• 训练策略：使用训练策略，如多任务学习、知识蒸馏等，来提高模型的性能。

4、如何让大模型处理更长的文本?

• 使用模型架构，如Transformer, 它可以有效地处理长序列。

• 使用内存机制，如外部记忆或缓存，来存储和检索长文本中的信息。

• 使用分块方法，将长文本分割成更小的部分，然后分别处理这些部分。

• 大模型参数微调、训练、推理

5、想让模型学习某领域或行业知识，是应该预训练还是应该微调?

为了让模型学习某个领域或行业的知识，通常建议先进行预训练，以学习通用的语言知识和模式。预训练可以帮助模型建立强大的语言表示，并提高模型的泛化能力。

然后，可以通过微调来注入特定领域或行业的知识，使模型能够更好地适应特定的任务和应用场景。

6、想让模型学习某领域或行业知识，是应该预训练还是应该微调?

1. 选择合适的预训练目标和任务：确定模型将学习哪些通用的语言知识，以及针对哪些特定任务进行优化。

2. 收集和准备数据：收集大量、多样化的数据，包括通用数据和特定领域的数据，进行清洗和预处理。

3. 选择模型架构：选择一个适合的模型架构，如Transformer, 并确定模型的规模和层数。

4. 定义训练流程：设置训练参数，如学习率、批量大小、训练轮数等，并选择合适的优化器和损失函数。

5. 训练模型：使用准备好的数据和训练流程开始训练模型，监控训练过程中的性能和资源使用。

6. 训练模型：使用准备好的数据和训练流程开始训练模型，监控训练过程中的性能和资源使用。

7. 微调和优化：在模型达到一定的性能后，进行微调以适应特定的应用场景和任务需求。

大模型面试夺命连环问

1、介绍下你自己

2、你的职业规划是什么?

3、使用外挂知识库主要是为了解决什么问题？

4、大模型LLM进行SFT如何对样本进行优化?

5、模型参数微调的方式有那些?你最常用哪些方法?

6、prompt tuning和 prefix tuning在微调上的区别是什么?

7、LORA原理与使用技巧有那些?

8、LORA权重合入chatglm模型的方法?

9、训练一个通用大模型的流程有那些?

10、是否接触过 embeding模型的微调方法?

11、大模型 (LLMS) 评测有那些方法?如何衡量大模型的效果?

12、大模型词表扩充的方法及工具?

13、搭建大模型应用遇到过那些问题?如何解决的?

14、开源的 RAG 框架有哪些，你比较了解?

15、向量库有那些?各自优点与区别?

16、RAG(检索增强生成)对于大模型来说，有什么好处?

17、Langchain支持哪些功能?

18、Langchain 存在哪些问题及方法方案?

19、LangChain 如何调用LLMS 生成回复?

20、大模型进行训练，用的是什么框架

21、为什么大模型推理时显存涨的那么多还一直占着?

22、有哪些省内存的大语言模型训练/微调/推理方法?

23、为什么现在主流的LLM模型基本都是Decoder-only的结构?单向注意力模型为什么效果比双向注意力效果好?

24、RLHF中，PPO需要哪几个模型，分别是什么作用?

25、支持模型长上下文的方案[NTK-aware interpolation」的思路是什么?

26、prefix LM 和 causal LM 区别是什么?

27、DDO 与 DP0 的区别是什么?

28、使用外挂知识库主要是为了解决什么问题？

29、在做RAG项目过程中遇到哪些问题？怎么解决的？

30、模型底座是什么，这些不同底座什么区别，什么规模？

31、你了解哪些 开源 Agent？有部署过么？效果怎么样？

31、你了解哪些 开源 Agent？有部署过么？效果怎么样？

32、给一个总的输入输出样例，每一步包含什么prompt，多轮推理每一步输出什么结果，模拟一下，数据集格式是否要调整成这样，数据形式是什么，怎么拆分成多轮形式？

这份《小米大模型算法岗面试题+答案详解》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

PDF书籍： 完整版本链接获取

👉[CSDN大礼包🎁：《小米大模型算法岗面试题+答案详解》免费分享（安全链接，放心点击）]👈