【论文阅读】DSP: Dynamic Sequence Parallelism for Multi-Dimensional Transformers

阅读这篇文章之前建议先阅读：序列并行
本文链接：https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2403.10266.pdf
文章源码：https://github.com/NUS-HPC-AI-Lab/OpenDiT

Abstract

• 为多维Transformer实现高效的序列并行性
• 关键思想是根据当前计算阶段动态切换并行维度，与应用传统的单维并行性相比，这种动态维度切换允许以最小的通信开销实现序列并行性。

1 Introduction

• 应用中涉及的长序列会导致大量的激活内存成本和极慢的生成速度，因此需要使用序列并行性。
• 许多应用程序跨不同维度执行注意力计算。现有的序列并行：
  • Megatron-SP
  • DeepSpeed-Ulysses
  • Ring Self-attention
• 现有的序列并行假设只有一个维度的序列，他们仍然按照传统的注意力计划将注意力分散到并行性上，并产生不必要的通信。