DenseMamba: State Space Models with Dense Hidden Connection for Efficient Large Language Models

本文是LLM系列文章，针对《DenseMamba: State Space Models with Dense Hidden Connection
for Efficient Large Language Models》的翻译。

摘要

由于常用的Transformer架构对计算和内存的要求过高，大型语言模型（LLM）面临着严峻的挑战。虽然状态空间模型（SSM）是一种新型的基础网络架构，具有较低的计算复杂度，但其性能尚未完全与Transformers相媲美。本文介绍了DenseSM，这是一种增强SSM中各层之间隐藏信息流的新方法。通过选择性地将较浅层的隐藏状态集成到较深层，DenseSM保留了对最终输出至关重要的细粒度信息。密集连接增强的DenseSM仍然保持了训练的并行性和推理效率。所提出的方法可以广泛应用于各种SSM类型，如RetNet和Mamba。在类似的模型尺寸下，DenseSM实现了显著的改进，例如DenseRetNet优于原始RetNet，在公共基准上的准确率提高了5%。代码可在以下位置获得：https://github.com/WailordHe/DenseSSM 。

1 引言

2 相关工作