【AI学习】Transformer深入学习（二）：从MHA、MQA、GQA到MLA

前面文章：
《Transformer深入学习（一）：Sinusoidal位置编码的精妙》

一、MHA、MQA、GQA

为了降低KV cache，MQA、GQA作为MHA的变体，很容易理解。
多头注意力（MHA）：
多头注意力是一种在Transformer架构中广泛使用的注意力机制，通过将查询、键和值分别投影到多个不同的空间上，然后并行计算这些空间上的注意力得分，从而获得更加丰富和细致的特征表示。

多查询注意力（MQA）：
多查询注意力是MHA的一种变种，它通过共享单个key和value头来提升性能，但可能会导致质量下降和训练不稳定。MQA在保持速度的同时提高了模型的推理效率，但在某些情况下可能无法达到与MHA相同的效果。

分组查询注意力（GQA）：
分组查询注意力是MQA和MHA之间的过渡方法，旨在同时保持MQA的速度和MHA的质量。GQA通过使用中间数量的键值头（大于一个，小于查询头的数量），实现了性能和速度的平衡。具体来说，GQA通过分组的方式减少了需要处理的头数，从而降低了内存需求和计算复杂度。

分组查询注意力（Grouped-Query Attention，简称GQA）是一种用于提高大模型推理可扩展性的机制。其具体实现机制如下：

1、基本概念：GQA是多头