EzZzZz_u的博客

原创 ABF（Adaptive Base Frequency，自适应基频）

ABF 是一种用于提升 RoPE 模型长度外推能力的训练技巧。在模型从短上下文训练向长上下文训练过渡的阶段，动态地、平滑地调整 RoPE 的基频（theta）参数。传统方法 vs. ABF 方法传统静态 RoPE： 在整个预训练过程中，theta 的值是固定不变的（例如，原版 LLaMA 和 Qwen 早期版本设为 10000）。这限制了模型的外推能力。ABF 动态 RoPE： 在第二阶段的长上下文训练。