掩码语言模型处理开放式的长文本生成问题

论文探讨了预训练的掩码语言模型在开放式长文本生成领域的潜力，以及如何克服其在处理长文本时的局限性。通常自回归语言模型如BART和GPT系列在这一领域占据主导地位，但它们在生成长度增加时推断效率降低的问题限制了应用。为了改善这一状况，研究者们提出使用迭代的非自回归（Non-Autoregressive, NAR）解码策略，并结合两种方法——动态滑动窗口注意力（Dynamic Sliding Window Attention, DSWA）和线性温度衰减（Linear Temperature Decay, LTD），来增强MLMs的长文本生成能力。在故事叙述和多段落意见文章撰写等任务中，预训练的MLMs不仅能够达到3到13倍的加速，同时还能保持甚至优于强大的自回归模型的表现。

1 动态滑动窗口注意力

• （1）动机：在长文本生成中，传统的自注意力机制允许每个token关注整个上下文序列，这可能导致信息过载和处理效率降低。长距离依赖关系处理不当会导致模型“崩溃”，生成无意义或重复的内容。
• （2）解决策略：动态滑动窗口注意力通过限制每个token仅能关注其邻近的token来减轻这一问题，而不是整个序列。这种机制类似于卷积神经网络的局部感受野概念，有助于模型更有效地处理长文本。
• （3）操作方式：使用滑动窗口机制调整自注意力层中每个token的注意力模式。窗口大小是可变的，允许模型根据需要调整关注范围。
• （4）动态调度公式ÿ