大模型 | 快手多模态理解岗面试题7道(含答案解析)

1、讲一下DPO和PPO，DPO和PPO有什么区别？

DPO 和 PPO

• PPO (Proximal Policy Optimization): PPO 是一种强化学习算法，采用了策略优化方法。它的目标是通过限制策略更新的幅度来避免策略剧烈变化，减小策略崩溃的风险。具体做法是通过剪裁损失函数，确保策略变化在一个较小的范围内，从而提高训练的稳定性。PPO 的核心是引入了一种近端目标函数，利用优势函数更新策略，兼顾了策略的探索和收敛。

• DPO (Direct Policy Optimization): DPO 是一种最近提出的算法，旨在简化传统强化学习中的策略优化问题。它的主要思想是通过直接最小化目标函数来优化策略，而不是像 PPO 一样通过对数比率和剪裁损失函数来进行策略更新。DPO 采用了更直接的优化方式，简化了策略更新的过程。

区别：

• 策略更新: PPO 通过限制策略变化幅度（例如剪裁）来实现稳定训练，而 DPO 更倾向于直接优化目标函数。

• 稳定性和效率: PPO 通常能够保持较高的稳定性，但训练效率可能较低；DPO 则更高效，但可能在一定程度上牺牲了训练的稳定性。

2、DPO训练可能会出现什么问题？

梯度爆炸或消失: 由于 DPO 更直接地优化策略目标函数，可能导致策略更新过快或过剧，从而导致梯度爆炸或消失的问题。

收敛性问题: DPO 没有像 PPO 那样的机制来限制策略更新，因此可能在训练过程中出现不稳定或策略崩溃的情况。

探索和利用之间的平衡问题: 由于 DPO 直接最小化目标函数，可能会倾向于过早地进行利用，导致探索不足，从而无法找到全局最优解。

3、transformer 的结构整体介绍一下

Transformer 是一种基于自注意力机制的深度学习模型，广泛应用于自然语言处理任务中。其核心结构包括：

• Encoder 和 Decoder: Encoder 负责对输入序列进行编码，生成一组高维特征表示；Decoder 则根据这些表示和目标序列进行解码，生成最终输出。

• 多头自注意力机制 (Multi-Head Self-Attention): 通过多个注意力头并行处理序列数据，捕捉不同位置之间的依赖关系。

• 前馈神经网络 (Feed-Forward Network, FFN): 在注意力层后面，通过两层全连接网络对每个位置进行独立的非线性变换。

• 残差连接和 LayerNorm: 通过残差连接和 LayerNorm，避免梯度消失问题，同时加快模型的收敛速度。

4、位置编码介绍一下？为什么 ROPE 等相对位置编码会有比较好的外推性？

Transformer 由于没有循环结构，无法捕捉序列中的位置信息，因此需要位置编码 (Positional Encoding)。位置编码有两种主要方式：

• 绝对位置编码 (APE): 通过固定的位置编码向量为序列中的每个位置赋予唯一标识。

• 相对位置编码 (ROPE, Relative Positional Encoding): 相对位置编码可以动态地捕捉序列中的相对位置信息，使模型具有更好的外推能力。在处理长度变化的序列时，ROPE 相比 APE 表现更优，因其不依赖于绝对位置，能更好地处理序列中元素之间的相对关系。

5、讲一下 BatchNorm 和 LayerNorm。为什么 transformer 是 LayerNorm？

BatchNorm (Batch Normalization): 主要用于卷积神经网络中，通过对 mini-batch 的每个维度进行标准化，减少内部协变量偏移，提高训练的稳定性。

LayerNorm (Layer Normalization): 主要用于 RNN 和 Transformer 等序列模型中，它对整个层进行标准化，独立于 mini-batch，确保在不同时间步和序列长度下具有一致的归一化效果。

Transformer 的输入是序列数据，不同的批次可能会有不同的长度和特征分布，使用 LayerNorm 可以更好地处理这些变化，同时适应不同时间步的归一化需求。

6、讲一下PostNorm 和 PreNorm？这两个有什么优缺点？

PostNorm: 在注意力层和前馈网络之后进行归一化。这种方式能让主干网络更强大，但归一化的影响在模型早期阶段相对较弱。
PreNorm: 在注意力层和前馈网络之前进行归一化，可以增强模型的稳定性，尤其是在训练初期。但随着网络深度增加，归一化可能会影响表示能力的提升。优缺点：

PostNorm: 优点是后期训练效果较好，缺点是前期训练不够稳定。
PreNorm: 优点是前期训练更稳定，缺点是模型可能会陷入局部最优解。

7、PostNorm 和 PreNorm都需要warm up吗？

Warm-up 通常用于缓解训练初期梯度过大或过小的问题，使模型能够平稳过渡到正常训练阶段。

• PreNorm 通常不需要 warm-up，因为在训练初期，归一化使得梯度更新相对稳定。
• PostNorm 更常见的情况是需要 warm-up，因为初期网络训练时梯度可能不稳定，而 warm-up 能有效缓解这个问题。

---

最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

5. 大模型面试题

面试，不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

如有侵权，请联系删除。