大模型面试准备（三）大模型算法

Android老皮

于 2024-07-24 20:15:00 发布

阅读量158

点赞数 2

文章标签：算法人工智能 ai agi 大模型 AI大模型

本文链接：https://blog.csdn.net/m0_59614665/article/details/140672200

版权

大模型算法面试题

在指令微调中，如何设置、选择和优化不同的超参数，以及其对模型效果的影响？
在指令微调中，如何选择最佳的指令策略，以及其对模型效果的影响？
llama, glm，bloom等现有大模型的数据处理，训练细节，以及不足之处模型架构的优化点，包括但不限于attention, norm, embedding
解决显存不够的方法有哪些？
请解释P-tuning 的工作原理，并说明它与传统的 fine-tuning方法的不同之处。
介绍一下Prefix-tuning的思想和应用场景，以及它如何解决一些NLP任务中的挑战
Lora的原理和存在的问题讲一下？
bf16，fp16半精度训练的优缺点
如何增加context length 模型训练中节约显存的技巧。
RLHF完整训练过程是什么？RL过程中涉及到几个模型？显存占用关系和SFT有什么区别？
RLHF过程中RM随着训练过程得分越来越高，效果就一定好吗？有没有极端情况？
encoder only，decoder only，encoder-decoder 划分的具体标注是什么？典型代表模型有哪些？
如何评估和提高深度学习模型的泛化能力？
在实际应用中，如何平衡模型的泛化能力和特定任务的优化？
在多任务学习中，如何设计任务之间的权重分配？
如何处理多任务学习中的负迁移问题？1如何利用未标注数据增强模型的预训练？
在半监督学习中，如何有效地利用有限的标注数据？
在模型部署时，如何权衡推理速度和模型精度？
如何在资源受限的设备上部署大型深度学习模型？
元学习在深度学习中的应用有哪些？
如何设计一个有效的元学习算法来提高模型对新任务的快速适应能力？
在处理长文本数据时，有哪些有效的序列建模方法？
如何优化模型以处理超出常规序列长度限制的文本数据？
如何设计和实现一个健壮的模型鲁棒性测试流程？
在面对对抗性攻击时，如何提高模型的鲁棒性？
1. 有哪些有效的模型压缩技术可以减少模型的大小和提高推理速度？