融合创新！全局注意力+局部注意力，训练成本直降91.6%

全局注意力结合局部注意力可以让模型在处理数据时，既不会丢失重要的局部细节，也能考虑到整个数据集中的全局结构，从而在保持模型计算效率的同时，提高模型的表达能力。

这种策略相较于传统的单一注意力机制，能够更全面地理解输入数据，同时捕捉长距离依赖关系和细节信息。对于论文er来说，是个可发挥空间大、可挖掘创新点多的研究方向。

以谷歌Quoc Le团队的FLASH模型为例：

FLASH是一种解决现有高效Transformer变体质量和经验速度问题的实用解决方案。它通过以下方式实现全局注意力和局部注意力的结合：

分块混合注意力（Mixed Chunk Attention）：FLASH模型采用了一种分块的策略，将输入数据分成多个块，并在每个块内部进行局部注意力计算。这样可以捕捉到每个数据块内部的详细信息，同时减少整体的计算量。

全局注意力单元（GAU）：FLASH模型使用了全局注意力单元（GAU），这是将门控线性单元（GLU）和注意力机制结合起来的一种结构。GAU的设计允许模型在处理数据时考虑到更广泛的上下文信息，从而实现全局注意力的效果。
 

FLASH首次不仅在质量上与完全增强的 Transformer相当，而且在现代加速器的上下文大小上真正享有线性可扩展性