日成联科面经

BLOOM模型有没有试过模型参数调整，结果有什么差异？

我在这个项目里面没有，但是有在大模型API使用经验，temperature参数

简单介绍一下RNN模型和trans在处理自然语言任务，2者特点、优劣

1. 并行、串行
2. 梯度消失、梯度爆炸，导致长序列依赖关系

介绍注意力机制怎么去做的

KQV

大模型的基础架构、训练流程

预训练、微调、增量预训练、知识蒸馏、推理部署

场景题：把公司内部的资料融合到prompt上面，然后让大预言模型进行回答，针对这样的流程，你有什么想法

RAG

介绍RAG流程

deepseek目前不具备图像读取，如果我给你deepseek的API，让他去读取图片的内容，你会有什么想法。

用识图功能

但是有的图片他不是文本，而是风景画之类的，如何让大预言模型来读取这部分的信息

大语言模型的反馈信息，（例如回答的好或者不好），怎么能够应用到大预言模型上，进行微调和精进

RLHF

介绍一下RLHF流程

代码题