小型 FPGA 瞄准 4K 视频接口，MiSTer FPGA 现已支持 Sinden 光枪-FPGA新闻速览

无需矩阵乘法，在 FPGA 上实现低功耗、高性能的 LLM

UC Santa Cruz, Soochow University, UC Davis 和 LuxiTech 发表了一篇题为“可扩展的无 MatMul 语言建模”的新技术论文。

“矩阵乘法 (MatMul) 通常占据大型语言模型 (LLM) 总体计算量的主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度，此计算量只会增加。在这项工作中，表明 MatMul 操作可以完全从 LLM 中消除，同时在十亿参数规模下保持强劲性能。实验表明，我们提出的无 MatMul 模型实现了与最先进的 Transformers 相当的性能，后者在推理期间需要更多的内存，规模至少达到 2.7B 参数。我们研究了缩放规律，发现我们的无 MatMul 模型和全精度 Transformers 之间的性能差距随着模型尺寸的增加而缩小。我们还提供了此模型的 GPU 高效实现，与未优化的基线相比，在训练期间可将内存使用量降低高达 61%。通过在推理过程中使用优化的内核，与未优化的模型相比，我们的模型的内存消耗可以减少 10 倍以上。为了正确量化我们架构的效率，我们在 FPGA 上构建了一个自定义硬件解决方案，该解决方案利用了 GPU 无法处理的轻量级操作。我们以超出人类可读吞吐量 13W 的功率处理了十亿参数规模的模型，使 LLM 更接近类似大脑的效率。这项工作不仅展示了 LLM 可以在大程度上精简同时仍然有效运行，而且还指出了未来加速器在处理下一代轻量级 LLM 时应该优化的操作类型。代码实现:

https://github.com/ridgerchu/matmulfreellm

技术论文（预印本）

https://arxiv.org/abs/2406.02528

大学新闻摘要

https://news.ucsc.edu/2024/06/matmul-free-llm.html

来源：

Zhu, Rui-Jie, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou, and Jason K.