无矩阵乘法LLM - 一个来自线性Transformer的视角

于 2024-08-14 22:17:36 发布
阅读量2 收藏
点赞数
文章标签： 矩阵 transformer 线性代数 深度学习 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247528828&idx=1&sn=7024f9665a6834946c32cd50b1ea858c&chksm=ea10bdb736f7963fb7114f2db4009c0f548316e55e4a38404d7b5df8e3da1e05da9100b7e6c6&scene=126&sessionid=0
版权

f35b3b6f6732123f260c9fdb5ef2f584.png

标题

无矩阵乘法LLM - 一个来自线性Transformer的视角

时间

2024.8.17 周六 上午10:30-11:30

进群

20ad6e265c89b45328bcec01aac89b4b.png

论文：Scalable MatMul-free Language Modeling

链接：https://arxiv.org/pdf/2406.02528

内容大纲

   1. 背景：

       - 无乘法网络

       - 线性注意力机制

   2. 无乘法语言模型组件介绍

       - 线性无乘法token mixer

       - 三值化channel mixer与fused结构

   3. 深入分析无乘法token mixer

   4. 实验

      1. Downstream benchmark

      2. Fused BitNet 的速度

引言

矩阵乘法(MatMul)通常是大型语言模型(LLMs)中计算成本最高的部分。随着LLMs的嵌入维度和上下文长度不断扩大,这一成本也在增加。本研究表明,我们可以完全消除LLMs中的MatMul运算,同时在数十亿参数规模上保持强大的性能。

2d80586e6fb7dbe50f6ee13ca50183dc.png

我们的实验显示,所提出的无MatMul模型在至少27亿参数的规模上,其性能可以与需要更多推理内存的最先进Transformer模型相媲美。我们研究了扩展规律,发现随着模型规模增大,我们的无MatMul模型与全精度Transformer之间的性能差距在缩小。

我们还提供了这种模型的GPU高效实现,在训练过程中将内存使用减少了61%。通过在推理时使用优化的内核,我们模型的内存消耗可以比未优化的模型减少10倍以上。

为了准确量化我们架构的效率,我们在FPGA上构建了一个定制硬件解决方案,它能够利用GPU无法实现的轻量级操作。我们以13W的功耗处理了十亿参数级的模型,处理速度超过了人类可读的速度,使LLMs更接近于人脑的效率。

个人简介

b469a1593a7dfe40ac31d79e2d2f0db1.jpeg

朱芮捷是加州大学圣克鲁兹分校（UCSC）计算机工程专业的一年级博士生，他于2023年秋季开始在UCSC攻读博士学位，此前在中国电子科技大学获得学士学位。他的深度学习研究始于脉冲神经网络。在本科期间，他曾参与多个知名开源神经形态项目，包括snnTorch和SpikingJelly。随着研究兴趣的扩展，他将重点转向高效语言模型。他加入了RWKV（首个基于RNN的语言模型）的开发团队，并开发了SpikeGPT和Matmul-free LM。目前，他的研究主要聚焦于通过高效推理的视角来扩展模型规模。他对神经网络架构、语言模型优化以及高效计算方法等领域有兴趣。

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

b6a5a79e4b09ddabde0cc7095f983595.png

id：DLNLPer，记得备注呦

zenRRan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
模型架构选择：从传统NLP到Transformer
禅与计算机程序设计艺术
03-02 95
自然语言处理（NLP）是人工智能的重要分支，旨在使计算机能够理解、解释和生成人类语言。随着互联网的发展和数据量的激增，NLP技术在文本分类、机器翻译、情感分析、问答系统等多个领域得到了广泛应用。然而，NLP任务的复杂性和多样性对模型架构提出了巨大挑战。传统的NLP模型架构，如基于规则的方法、统计模型、词袋模型等，虽然在早期取得了一定的成果，但随着数据规模和任务复杂度的增加，这些方法逐渐暴露出其局限性。为了应对这些挑战，研究人员不断探索新的模型架构，从传统的RNN、CNN，到近年来备受瞩目的Transform
LLM 模型架构详解
07-19 176
最终，所有被选中的专家的意见（输出）会被综合考虑（加权求和），形成一个全面的治疗方案（模型的最终输出）。残差连接就像是在爬山时携带的一条绳子，绑在你已经到达的高度（先前的层的输出），这样即便探索的新路径（新一层的计算）没有带你更高，你还可以通过绳子回到之前的高点，保证至少不会后退。不同于Transformer模型，后者通过注意力机制几乎无差别地考虑所有过去的输入，S4通过矩阵B和C的变化与输入内容直接相关联，这意味着不同的输入序列会有不同的矩阵B和C，从而模型能更加智能地决定哪些信息重要，哪些可以忽略。
一文通透想颠覆Transformer的Mamba：从SSM、HiPPO、S4到Mamba
热门推荐
结构之法 算法之道
12-11 12万+
如本文开头所说，mamba论文的一作Albert Gu多年来一直在推动SSM的发展他在SSM的基础上，通过此篇论文《》首次提出了结构化状态空间S4(这里有关于S4的更多论文)，但这篇论文的可读性比较差当然，作者在YouTube上有一个关于这篇S4论文的精彩解读，比S4论文的可读性提高很多，且本文中也应用了其中的部分PPT截图，但还可以更加通俗易懂。
如何定量分析 Llama 3，大模型系统工程师视角的 Transformer 架构
python1234567_的博客
07-30 1776
上面我们介绍了原始版本的 Transformer 架构设计，接下来我们来讨论 Transformer 的几个变种，为大家简单分析下不同的变种分别在哪一层对进行了调整，每一次的调整改变了哪些维度，并评估下改变的量级。通过这样的方式，也帮助大家在后续分析 Transformer 的一些新论文或者新结构的时候自行进行分析。
论文翻译 - T5大模型 - Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
anniewwy的博客
02-01 894
迁移学习，也就是模型首先在数据丰富的任务上进行预训练，然后再对下游任务进行微调，已成为自然语言处理 (NLP) 中的强大技术。迁移学习的有效性催生了多样的途径、方法和实践。在本文中，我们通过引入一个统一的框架来探索 NLP 的迁移学习技术的前景，该框架将所有基于文本的语言问题转化为文本到文本的格式。我们的系统研究比较了数十个语言理解任务的预训练目标、架构、未标记数据集、迁移方法和其他因素。
LLM推理入门指南②：深入解析KV缓存
OneFlow深度学习框架
03-28 3903
在本系列文章《LLM推理入门指南①：文本生成的初始化与解码阶段》中，作者对Transformer解码器的文本生成算法进行了高层次概述，着重介绍了两个阶段：单步初始化阶段，即提示的处理阶段，和逐个生成补全词元的多步生成阶段。本文进一步探讨了LLM推理的挑战 —— 第一大挑战是，注意力层（也称为自注意力层）与总序列长度（提示词元和生成补全词元）的计算成本呈二次方扩展的问题。幸运的是，生成步骤之间的许多...
新架构Mamba更新二代！作者：别争了，数学上Transformer和SSM是一回事
python123456_的博客
06-05 818
状态空间扩大8倍，训练速度提高50%！更重要的是，团队研究发现原来（SSM）**？？**两大主流序列建模架构，在此统一了。注意力机制与SSM存在着非常紧密的数学联系。团队通过提出一个叫（Structured State Space Duality，SSD）的理论框架，把这两大模型家族统一了起来。Mamba一代论文年初被ICLR拒稿，当时还[让许多学者集体破防，引起一阵热议这次二代论文在理论和实验上都更丰富了，成功入选ICML 2024。作者依然是和两位。
Transformer~72
weixin_41467572的博客
07-26 5
探讨总结当下常用的大型 transformer 效率优化方案。大型 Transformer 模型如今已经成为主流，为各种任务创造了 SOTA 结果。诚然这些模型很强大，但训练和使用起来代价非常昂贵。在时间和内存方面存在有极高的推理成本。概括来说，使用大型 Transformer 模型进行推理的难点，除了模型的规模不断扩大外...
论文干货 | 首篇大模型压缩论文综述
qq_45832461的博客
10-22 601
来自中国科学院和人民大学的研究者们深入探讨了基于LLM的模型压缩研究进展并发表了该领域的首篇综述《A Survey on Model Compression for Large Language Models》。
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
在建造阶段，TensorRT会接受一个训练好的深度学习模型，对其进行优化，并生成一个针对特定硬件平台的推理引擎。在执行阶段，TensorRT会加载优化后的推理引擎，并对其进行推理计算，输出推理结果。
awesome-llm-论文学习资源
07-22
LLM
LLM基础之Transformer模型简介.pdf
06-19
Decoder同样由多层组成，除了自注意力层外，还包含一个遮蔽自注意力层（Masked Self-Attention），防止当前位置直接看到未来位置的信息，以符合语言生成的顺序性。Decoder还会与Encoder的输出交互，获取全局上下文...
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
06-09
这不仅有助于量化人类偏好，也为LLM-as-a-Judge提供了一个实际应用的场景。 #### 四、实验结果与分析 通过对强LLM（如GPT-4）作为评判者的实验结果显示，LLM-as-a-Judge能够很好地匹配控制和众包的人类偏好，达到...
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
python之numpy（2 创建矩阵）
2301_80199493的博客
08-14 188
或者利用注释中的linspace函数创建也可，两者是一样的效果。dtype是设置元素的数据类型，这里设置的是int16类型。其中，创建矩阵时整个矩阵用一个中括号，每一行用一个中括号，每行之间用逗号分隔。这里arange创建了从0到11一共12个整数的一维数组，（arange(0,12)其实是左闭右开）在改成3×4的矩阵。下面我们分别创建数组和矩阵。除了使用array创建矩阵外，还有一些特殊的矩阵可以利用现有的函数创建。该矩阵中的元素为随机的，且为在0到1之间的小数。该矩阵中的元素未初始化的。
【图形学】TA之路-矩阵
最新发布
weixin_39543044的博客
08-14 559
矩阵是一个二维数组，用于存储数字。通常矩阵以行和列的形式组织，其中每个元素都对应一个数字。最常见的矩阵是 4x4 矩阵，用于 3D 图形变换。
python之numpy（3 矩阵属性及矩阵运算）
2301_80199493的博客
08-14 130
注：如果定义的数组是x=np.array([1,2,3])那么此函数失效，如果定义的是x=np.array([ [1,2,3] ])则可以转置。np.linalg.inv()是求矩阵的逆，np.linalg.det()是求矩阵的行列式，np.linalg.matrix_rank是求矩阵秩。上述代码中，x*y是对应元素之间的相乘，而矩阵之间的点乘是x.dot(y)或者是np.dot(x,y)。矩阵的运算分为矩阵元素之间的运算和矩阵之间的运算，当然两者的区别在加法、减法之间是没有区别的，在乘法之间有所区别。
信奥C++，输入一个n*m的矩阵，在输入一个变量s，如果s==0,则水平翻转矩阵，否则垂直翻转矩阵
m0_38111284的博客
08-14 166
属于信奥题目，具体解法如下。已经通过调试，欢迎使用。
LLM-RAG是什么
07-02
LLM-RAG是“Large Language Model with Retrieval Augmentation”（大型语言模型与检索增强）的缩写。这是一种结合了大型预训练语言模型（如通义千问）和基于检索的方法的技术。在传统的语言模型中，模型完全依赖于其自身的知识库来生成响应。而LLM-RAG则增强了这种能力，它会在生成文本之前从外部知识源（比如文本数据库或网络上的信息）检索相关信息，然后结合模型自身的理解进行生成，从而提供更准确、丰富的答案。 这种方法利用了外部信息的丰富性和模型生成的灵活性，使得AI系统能够处理更复杂的查询，并在需要时提供详细的支持。然而，由于涉及外部数据的检索，隐私和版权问题是需要注意的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值