试试号称最好的7B模型（论文复现）

试试号称最好的7B模型（论文复现）

本文所涉及所有资源均在传知代码平台可获取

概述

Mistral 7B 是一个新型的具有 7.3 万亿参数的大语言模型。其性能甚至优于13万亿参数的 Liama2。

Mistral 7B 在所有测试基准中都优于之前最佳的 13B 模型（Llama 2），并在数学和代码生成方面超越了最佳的 34B 模型（LLaMa 34B）。此外，Mistral 7B 在编码性能上接近于 Code-Llama 7B，而不会牺牲非代码相关基准上的性能。Mistral 7B 利用了分组查询注意力（GQA）和滑动窗口注意力（SWA）。GQA 显著加快了推断速度，同时在解码过程中减少了内存需求，从而允许更高的批处理大小，提高了吞吐量，这对于实时应用非常重要。此外，SWA 旨在以较低的计算成本更有效地处理更长的序列，从而缓解了LLM（大型语言模型）的