清华：傅里叶位置嵌入优化LLM长度泛化

📖标题：Fourier Position Embedding: Enhancing Attention’s Periodic Extension for Length Generalization
🌐来源：arXiv, 2412.17739

🌟摘要

🔸通过改进旋转位置嵌入（RoPE）来扩展语言模型（LM）的上下文长度已成为一种趋势。虽然现有的研究主要解决了RoPE在注意力机制中的局限性，但本文对LM的几乎所有部分进行了分析，揭示了它们对基于RoPE的注意力长度泛化的不利影响。利用离散信号处理理论，我们证明RoPE通过隐式实现非均匀离散傅里叶变换来实现周期性注意力。然而，这种周期性受到以下因素造成的光谱损伤的破坏：1）注意力之外的线性层和激活函数；2） 时域截断带来的训练不足的频率分量。
🔸基于我们的观察，我们提出了模糊位置嵌入（FoPE），它增强了注意力的频域特性，以提高其周期性扩展和长度泛化能力。FoPE构造傅里叶级数并将破坏性频率分量归零，提高了模型对频谱损伤的鲁棒性。
🔸跨不同模型尺度的实验表明，与RoPE和ALiBi相比，在不同的上下文窗口内，FoPE可以在大海捞针任务中保持更稳定的困惑度和更一致的准确性。一些分析和消融为我们的方法和理论建模提供了进一步的支持。详见