[论文笔记] Mistral论文解读

https://arxiv.org/pdf/2310.06825.pdf

GQA:

       1、加快推理速度

       2、减小内存需求

       3、允许更大的batch       

       4、更高的吞吐量

SWA：

        1、较低的计算成本 更有效的处理 较长的序列。

        2、感受野更符合常理。不再是全局感受野，而是只和前4096个进行语义融合。这样在某位置时，距离它远的token得到的注意更低。缺点是对于海底捞针的任务更不友好。

        这样每层都在叠加感受野。在第K层时，感受野就是W*K。 

        3、sliding window attention相对于causal attention降低了attention的计算成本。