大模型基础知识

大模型基础知识

• 人工智能发展必备三要素是什么？

• 人工智能里程碑事件有哪些？

• CPU、GPU的区别是什么？

• 常见的GPU都有哪些？

• 什么是机器学习？

• 机器学习的分类有哪些？

• 常见的机器学习常见算法有哪些？

• 什么是深度学习？

• 深度学习的常见模型有哪些？

• 什么是大模型LLM？

• 常见的大模型有哪些？

• 大模型按技术分有哪几类？

• 大模型的特点都有哪些？

• 涌现能力是啥原因？

• 为什么会出现幻觉问题，怎么解决？

• 为什么会出现复读机问题，怎么解决？

• 大模型输入句子理论上可以无限长吗？

• 如何让大模型处理更长的文本？

• 什么是NLP？

• NLP的核心任务是什么？

• 什么是分词？

• 常见的分词模型有哪些？

• 什么是词向量？

• 常见的词向量模型有哪些？

• 什么是注意力机制和自注意力机制？

• 自注意力机制3个重要部分是什么？ 大模型应用知识

• 什么是RAG技术，技术架构是什么？

• RAG技术主要解决了什么问题？

• 如何评价RAG项目效果的好坏？

• 什么是Rouge指标？

• 针对通用的RAG，有哪些改进点？ 大模型架构

• 什么是激活函数，常用的激活函数有哪些？

• GLU激活函数和SwiGLU激活函数的区别是什么？

• 什么是梯度消失和梯度爆炸？

• LLaMA模型的架构是怎样的？

• LLaMA1、2的区别是什么？

• ChatGLM的架构是怎样的？ 大模型训练微调

• 什么是大模型微调？

• 有哪些常见的微调方法？

• 什么是lora微调？

• 什么是全参数微调？

• 全参数微调，究竟需要多少显存？

• 什么是模型量化？

• 什么是混合精度训练？

• 模型在训练和推理的时候各占用显存的多少？

• 大模型训练经常出现一些OOM问题，在现有硬件基础下，有什么性能提升方法？

• 大模型推理时，显存中有那几部分数据？

• SFT 指令微调数据如何构建?

• 领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力？

• 进行SFT操作的时候，基座模型选用Chat还是Base? Langchain相关

• 什么是LangChain？

• LangChain model 是什么？

• LangChain中常用的Prompt有哪些？

• LangChain中四种文档处理链是什么？

• LangChain内置的几个示例选择器是什么？

• LangChain怎么自定义选择器？

• LangChain内置的输出解释器有哪些？

• 什么是Agents？

• Toolkits都包括哪些？