UC Santa Cruz突破：革新大语言模型的能源效率

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

加州大学圣克鲁兹分校的研究人员在大语言模型领域取得了突破性成果。通常，运行先进模型如ChatGPT 3.5需要巨大的能源和财务成本——每天约70万美元的能源费用，导致显著的碳足迹。然而，一篇新的预印本论文显示，高性能语言模型可以在只需一个灯泡的能源下运行。

消除昂贵元素：矩阵乘法

在他们的创新方法中，研究人员解决了运行大语言模型最昂贵的部分：矩阵乘法。通过消除这一步骤并采用定制硬件，他们发现，一个十亿参数规模的语言模型仅需13瓦特的功率运行。这一效率比传统硬件高出50倍以上。

“我们以更低的成本达到了同样的性能——我们所做的只是从根本上改变了神经网络的工作方式，”该论文的主要作者、加州大学圣克鲁兹分校Baskin工程学院电气和计算机工程系助理教授Jason Eshraghian解释道。该团队不仅重新设计了算法，还构建了定制硬件以最大化效率。

了解成本

现代神经网络严重依赖矩阵乘法，其中单词在矩阵中表示为数字，通过相乘生成语言。这些操作通常在GPU上进行，GPU专门处理大型数据集，但由于需要在物理分离的单元之间移动数据，因此能耗很高。

创新方法：三进制数

团队采用了一种使用三进制数（负一、零、正一）的方法，将计算简化为数字求和而非相乘。这一方法受到之前工作的启发，但更进一步，完全消除了矩阵乘法。研究人员制定了一种策略，叠加矩阵并仅执行最关键的操作，保持性能的同时降低成本。

定制硬件开发

为了进一步提升能源效率，团队使用现场可编程门阵列（FPGAs）创建了定制硬件。这种高度可定制的硬件允许研究人员利用重新设计的神经网络的所有节能功能。结果是，一个模型可以以比人类阅读速度更快的速度生成单词，只需13瓦特的功率——相比标准GPU所需的700瓦特，这一改进令人震惊。“我们用更便宜的操作取代了昂贵的操作，”该论文的第一作者、BSE和Eshraghian小组的研究生Rui-Jie Zhu说。

未来的影响

研究人员认为，未来还有更大的效率提升潜力。“这些数字已经非常稳固，但很容易使它们变得更好，”Eshraghian指出。“如果我们能在13瓦特内做到这些，想象一下如果我们有一个整个数据中心的计算能力可以做到什么。我们有这么多资源，但让我们有效地使用它们。”

这项创新工作为更可持续的AI发展铺平了道路，减少了能源消耗和环境影响。研究人员已将他们的模型开源，邀请在这个有前景的领域进一步发展。

参阅：https://arxiv.org/abs/2406.02528