【自然语言处理】BitNet b1.58：1bit LLM时代

已于 2024-03-06 21:34:46 修改
阅读量1.5k 收藏 28
点赞数 24
分类专栏： 自然语言处理 文章标签： 自然语言处理 LLM 大语言模型 模型量化 BitNet
于 2024-03-03 10:42:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bqw18744018044/article/details/136427782
版权

论文地址：https://arxiv.org/pdf/2402.17764.pdf

相关博客
【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM
【自然语言处理】BitNet b1.58：1bit LLM时代
【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer
【自然语言处理】【大模型】MPT模型结构源码解析(单机版)
【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版)
【自然语言处理】【大模型】BLOOM模型结构源码解析(单机版)

一、BitNet

​ BitNet采用了与Transformer基本一致的模型架构，仅将标准矩阵乘法层换成了BitLinear，其他组件仍然是高精度的。BitLinear主要是包含的操纵：权重量化、激活量化以及LayerNorm。

​ 权重量化。通过减均值实现0中心化，然后用sign实现二值化。假设全精度权重为 W ∈ R n × m W\in\mathcal{R}^{n\times m} W∈Rn×m，则二值量化过程为
W ~ = Sign ( W − α ) (1) \widetilde{W}=\text{Sign}(W-\alpha) \tag{1} \\ W =Sign(W−α)(1)

Sign ( W i j ) = { + 1 , if    W i j > 0 − 1 , if    W i j ≤ 0 (2) \text{Sign}(W_{ij})=\begin{cases} +1,&&\text{if}\;W_{ij}>0 \\ -1,&&\text{if}\;W_{ij}\leq 0 \\ \end{cases} \tag{2} \\ Sign(Wij​)={+1,−1,​​ifWij​>0ifWij​≤0​(2)

α = 1 n m ∑ i j W i j (3) \alpha=\frac{1}{nm}\sum_{ij}W_{ij} \tag{3} \\ α=nm1​ij∑​Wij​(3)

​ 激活量化。使用absmax的方式将激活量化至b-bit。具体的实现方式是乘以 Q b Q_b Qb​再除以输入矩阵的最大绝对值，从而将激活缩放至 [ − Q b , Q b ] ( Q b = 2 b − 1 ) [-Q_b,Q_b](Q_b=2^{b-1}) [−Qb​,Qb​](Qb​=2b−1)，即
x ~ = Quant ( x ) = Clip ( x × Q b γ , − Q b + ϵ , Q b − ϵ ) (4) \tilde{x}=\text{Quant}(x)=\text{Clip}(x\times\frac{Q_b}{\gamma},-Q_b+\epsilon,Q_b-\epsilon) \tag{4}\\ x~=Quant(x)=Clip(x×γQb​​,−Qb​+ϵ,Qb​−ϵ)(4)

Clip ( x , a , b ) = max ⁡ ( a , min ⁡ ( b , x ) ) , γ = ∥ x ∥ ∞ (5) \text{Clip}(x,a,b)=\max(a,\min(b,x)),\quad\gamma=\parallel x\parallel_\infty \tag{5} \\ Clip(x,a,b)=max(a,min(b,x)),γ=∥x∥∞​(5)

其中 ϵ \epsilon ϵ是防止裁剪时溢出的小浮点数。

​ 对于非线性函数之前的激活值则采用不同的量化方式，通过减轻最小值的方式将其缩放至 [ 0 , Q b ] [0,Q_b] [0,Qb​]，从而保证所有值均为非负：
x ~ = Quant ( x ) = Clip ( ( x − η ) × Q b γ , ϵ , Q b − ϵ ) , η = min ⁡ i , j x i j (6) \tilde{x}=\text{Quant}(x)=\text{Clip}((x-\eta)\times\frac{Q_b}{\gamma},\epsilon,Q_b-\epsilon),\quad\eta=\min_{i,j}x_{ij}\tag{6} \\ x~=Quant(x)=Clip((x−η)×γQb​​,ϵ,Qb​−ϵ),η=i,jmin​xij​(6)
​ LayerNorm。在对激活值量化前，为了保证量化后的方差稳定，采用了SubLN。

​ BitLinear的完成计算过程为
y = W ~ x ~ = W ~ Quant ( LN ( x ) ) × β γ Q b (7) y=\widetilde{W}\tilde{x}=\widetilde{W}\text{Quant}(\text{LN}(x))\times\frac{\beta\gamma}{Q_b}\tag{7} \\ y=W x~=W Quant(LN(x))×Qb​βγ​(7)

LN ( x ) = x − E ( x ) Var ( x ) + ϵ , β = 1 n m ∥ W ∥ 1 (8) \text{LN}(x)=\frac{x-E(x)}{\sqrt{\text{Var}(x)+\epsilon}},\quad\beta=\frac{1}{nm}\parallel W\parallel_1 \tag{8} \\ LN(x)=Var(x)+ϵ ​x−E(x)​,β=nm1​∥W∥1​(8)

二、BitNet b1.58

​ BitNet b1.58在BitNet的基础上做了一些修改。

​ 权重量化。采用absmean的方式将权重约束在 { − 1 , 0 , 1 } \{-1,0,1\} {−1,0,1}中，而BitNet则将权重约束为二值 { − 1 , 1 } \{-1,1\} {−1,1}。具体来说，先使用平均绝对值来缩放权重，然后通过舍入的方式转换为 { − 1 , 0 , 1 } \{-1,0,1\} {−1,0,1}：
W ~ = RoundClip ( W γ + ϵ , − 1 , 1 ) (9) \widetilde{W}=\text{RoundClip}(\frac{W}{\gamma+\epsilon},-1,1)\tag{9} \\ W =RoundClip(γ+ϵW​,−1,1)(9)

RoundClip ( x , a , b ) = max ⁡ ( a , min ⁡ ( b , round ( x ) ) ) (10) \text{RoundClip}(x,a,b)=\max(a,\min(b,\text{round}(x)))\tag{10} \\ RoundClip(x,a,b)=max(a,min(b,round(x)))(10)

γ = 1 n m ∑ i j ∣ W i j ∣ (11) \gamma=\frac{1}{nm}\sum_{ij}|W_{ij}|\tag{11} \\ γ=nm1​ij∑​∣Wij​∣(11)

​ 激活量化。同BitNet一样，但是对于非线性函数前的激活不再量化至 [ 0 , Q b ] [0,Q_b] [0,Qb​]，而是都量化至 [ − Q b , Q b ] [-Q_b,Q_b] [−Qb​,Qb​]。

​ 此外，为了能够方便于开源软件兼容，整体结构采用类似LLaMA的结构。具体来说，使用RMSNorm、SwiGLU、RoPE并移除所有偏置。

三、实验

1. 困惑度

在这里插入图片描述

​ BitNet b1.58在3B大小时，困惑度与LLaMA相匹配，但是速度快2.71倍且显存使用减少3.55倍。当BitNet b1.58大小为3.9B时，速度快2.4倍且显存减少3.32倍，并且效果显著优于LLaMA 3B。

2. 下游任务

在这里插入图片描述

​ 随着模型尺寸的增加，BitNet b1.58和LLaMA在下游任务上的差距逐步缩小。在尺寸达到3B时，BitNet b.158能够与全精度相匹配。

3. 显存和延时

在这里插入图片描述

​ 随着模型尺寸的增加，BitNet b1.58的速度优势和显存优势会更加明显。

4. 能耗

在这里插入图片描述

​ 矩阵乘法是LLM中能耗最高的部分。BitNet b1.58主要是INT8的加法计算，而LLaMA则是由FP16加法和乘法组成。在7nm芯片上，BitNet b1.58能够节约71.4倍的计算能耗。随着模型尺寸的增加，BitNet b1.58在能耗方面会越来越高效。

5. 吞吐

在这里插入图片描述
​ 相同机器下，BitNet b1.58的batch size是LLaMA LLM的11倍，吞吐则是8.9倍。

BitNet：让1-bit大语言模型飞速运转
步子哥的博客
10-26 1189
BitNet 采用了 1-bit 的量化技术，将数据的表示压缩到极限，这不仅让模型“更轻”，还能让它们“跑得更快”。这就好比你在高速公路上开车，虽然你压缩了油门的力度（量化），但只要控制得当，你依然可以以同样的速度到达目的地，甚至比之前更快！想象一下，在不久的将来，你的智能手机、笔记本电脑甚至是物联网设备上都可以运行超大规模的语言模型，而这一切都将由 BitNet 这样的框架提供支持。从上图中可以看出，BitNet 在处理大模型时，速度提升最为显著，这是因为大模型的计算量更大，极限压缩带来的优势更加明显。
比特的魔法：bitnet.cpp与1-bit大语言模型
步子哥的博客
10-26 917
bitnet.cpp 是一个专门用于
BitNet b1.58：大模型是不是就快要能在手机上跑个分了
dotNET跨平台
03-02 511
微软亚洲研究院昨天发了一个帖子，论文看了，但又没有完全看懂（流下了缺乏知识的泪水），感觉是个特别牛逼的东西，这是一种新的1-bit大语言模型（LLM）BitNet b1.58，到底牛逼在哪儿呢？我们一起探讨吧，看下回能不能在亚研院请个同事来给大家再解释一下。与传统的FP16 LLM相比，BitNet b1.58在速度、内存使用、能耗等方面具有显著优势，同时在语言模型困惑度和下游任务性能方面能够与之...
BitNet B1.58——模型参数用三个值表示，精度优于 Llama
知来者逆的博客
08-31 1450
这篇文章介绍了 BitNet b1.58。随着模型参数数量的增加，传统的 LLM 可以提高预测性能，但内存使用量、响应时间和能耗也会显著增加。传统的 LLM 将单个模型参数值表示为 16 位浮点数，因此需要存储模型参数个数 x 16 位信息，模型参数越多，使用的内存就越多，传输这些信息所需的时间就越长，响应时间也就越长，需要进行的计算也就越多，因此能耗也会增加。
BitNet——用单个比特进行推理的大语言模型，性能媲美全精度Transformer
知来者逆的博客
08-07 1961
本研究提出了一种基于单比特变换器的大规模语言模型。研究还全面比较了 BitNet 与传统量化方法和普通 Transformer，并讨论了它们之间的差异。结果表明，BitNet 可以实现比传统量化方法更高的效率和准确性。此外，其结果与普通 Transformer 的准确性不相上下，令人惊讶。未来，随着大规模语言模型变得更加庞大，研究模型量化方法的重要性预计会增加，而 BitNet 被认为有潜力成为这一领域的领导者。从这个意义上讲，我们期待着进一步讨论该模型的通用性和应用限制。
AI大模型量化技术介绍（五）量化感知训练、1位大型语言模型的时代：BitNet
star_nwe的博客
08-26 1468
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
BitNet项目安装与配置指南
gitblog_00031的博客
04-09 1136
BitNet项目安装与配置指南 BitNet Official inference framework for 1-bit LLMs 项目地址: https://gitcode.com/gh_mirrors/bitne/BitNe...
1-bit 大模型（LLM）时代的到来
人工智能讲师分享前沿技术
08-19 2388
模型规模的扩大带来了部署上的挑战，并因其高能耗引对环境和经济产生了影响。为了应对这些挑战，研究者们开始探索使用低位宽量化技术来降低模型的推理成本，同时保持模型性能。微软公司和中国科学院大学的研究团队提出了一种名为BitNet b1.58的1-bit LLM变体。
【自然语言处理】【Scaling Law】语言模型物理学 第3.3部分：知识容量Scaling Laws
bqw的博客
05-30 1619
​ Scaling laws描述了模型尺寸与其能力的关系。不同于先前通过loss或者基准来评估模型能力，本文评估模型存储的知识数量。这里主要是关注以元组方式表示的知识，例如(USA, capital, Washington D.C)。通过多个受控数据集，发现每个参数仅能存储2 bit的知识，即使参数量化为8bit也有相同结论。因此，7B模型能够存储14B bit的指数，超过了英文Wikipedia和教科书的总和。
【自然语言处理】Transformer中的一种线性特征
bqw的博客
05-30 1000
本文揭示了transformer decoder独有的一种线性特征。分析相邻层的embedding变换，发现其具有接近完美的线性关系。由于transformer层输出的范数一直很小，当移除残差链接时，线性度下降。实验显示，当移除特别接近于线性的模块或者使用线性近似这些模块，对loss或者模型表现几乎没有影响。通过在预训练中引入基于cosine相似度的正则化项来降低层的线性度，改善了模型在TinyStories和SuperGLUE上的效果。
BitNet 开源项目使用教程
gitblog_00074的博客
08-19 1423
BitNet 开源项目使用教程 BitNetImplementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in pytorch项目地址:https://gitcode.com/gh_mirrors/bi/BitNet 项目介绍 BitNet 是一个可扩展且稳定的 1 位 Transformer 架...
微软利用BitNet最终把1000亿参数人工智能模型塞进了智能手表
JellyAI的博客
11-15 1114
序言：斯坦福大学利用LoLCats技术将1000亿参数模型的训练成本降低到20美元；微软则通过BitNet技术进一步将模型量化，使其能在消费类电子产品中运行，例如个人电脑、手机、智能手表等嵌入式设备。人工智能就这样顺理成章的进入了大家的日常生活。
BitNet：让百万亿参数模型在你掌心飞驰
步子哥的博客
10-27 899
是的，就是这样一个小得可怜的单位，但它却拥有改变机器学习世界的潜力。bitnet.cpp的出现，让我们仿佛手持魔法棒，将庞大的语言模型压缩到1.58比特，依然能让它们高效运转。值得注意的是，bitnet.cpp的目标不仅仅是推理，它还希望在不久的将来推动1比特模型的大规模训练和发布。让我们展望一个不远的未来，在那里，1比特模型成为标准，设备不再需要强大的硬件，即使是小型设备，也能运行庞大的模型，提供实时的智能反馈。的推理，甚至能让你在个人设备上运行庞大的模型——是的，连1000亿参数的模型都能轻松驾驭。
推荐文章：探索高效大模型新境界 —— BitNet 开源项目解析
gitblog_00037的博客
08-19 874
推荐文章：探索高效大模型新境界 —— BitNet 开源项目解析 BitNetImplementation of "BitNet: Scaling 1-bit Transformers for Large Language Models" in pytorch项目地址:https://gitcode.com/gh_mirrors/bi/BitNet 在人工智能的浩瀚星辰中，有一颗独特的新星正熠熠...
图片速览 BitNet: 1-bit LLM
ResumeProject的博客
03-07 1057
模型使用absmax 量化方法进行b比特量化,将输入量化到−Qb​Qb​Qb​2b−1xQuantxClipx×γQb​​−Qb​ϵQb​−ϵClipxabmaxaminbx))γ∣∣x∣∣∞​其中 ε 是一个小的浮点数，可防止在执行截断时溢出。
革命性的一比特语言模型：BitNet的崛起与未来
步子哥的博客
10-20 1086
BitNet 是一种革命性的语言模型架构,它将传统需要大量存储和计算资源的大型语言模型(LLM)压缩到令人难以置信的程度 —— 仅使用 1.58 比特来表示模型参数。这就好比将一部百科全书的内容浓缩到一张明信片上,却依然保留了其核心知识和功能。BitNet 的出现犹如 AI 世界里的一场小革命。它证明了即使是最小的比特也能承载巨大的智能。随着技术的不断发展,我们期待看到更多像 BitNet 这样的创新,不断推动 AI 技术向着更高效、更普及、更智能的方向发展。
微软大模型1B开源的 bitnet.cpp简介
esion23011的专栏
10-28 566
微软开源的bitnet.cpp是一个针对1-bit大型语言模型（LLM）的推理框架，它能够在普通CPU上高效运行，无需依赖GPU。这个框架特别适合在资源受限的设备上运行大规模的模型，同时还能显著降低能耗和提高运行速度。bitnet.cpp。
微软最新AI论文：700亿参数的超大语言模型，24GB显卡就能跑？
03-04 558
随着技术的不断进步，我们期待BitNet b1.58能够在成本更低的硬件上运行，进一步推动LLM的普及和应用。BitNet b1.58的内存占用是LLAMA LLM的1/3.32（基于3B模型的数据），所以70B参数的BitNet b1.58的内存占用大约是80GB / 3.32 ≈ 24GB。随着技术的成熟，我们期待它在更多领域中的应用，为我们的生活带来更多便利。最近，微软研究院的研究人员提出了一种新型LLM架构——BitNet b1.58，它在保持性能的同时显著降低了LLM的成本。
Github 热点项目 BitNet 零成本部署百亿参数AI！低精度模型推理速度狂飙6倍
最新发布
opentrending的博客
04-20 906
它采用独特的数据模型与界面分离架构，既能像Excel一样简单操作，又能像专业开发那样自由定义复杂数据结构，轻松应对客户管理、工单系统等业务场景。这是一个专为程序员设计的做饭指南，用清晰的结构化语言整理家常菜做法，像写代码一样严谨易懂。项目提供了丰富的应用案例，包括客户支持、投资分析、法律助手等多个领域，并结合了OpenAI、Anthropic、Gemini等不同模型。该项目包含来自多个领域的广泛 API，涵盖了从动物、动漫到天气、金融等多个主题，旨在为开发者和爱好者提供丰富的资源，以便在自己的项目中使用。
tensorrt llm
01-14
### TensorRT for LLM Deployment and Optimization #### Overview of TensorRT Integration with Large Language Models (LLMs) TensorRT is an SDK designed to optimize deep learning models for inference, particularly beneficial when deploying large language models (LLMs). By leveraging the capabilities of NVIDIA GPUs, TensorRT can significantly enhance performance through various optimizations such as precision reduction from FP32 to INT8 or even lower precisions like 1-bit transformations seen in architectures similar to BitNet[^2]. This allows not only faster execution but also more efficient memory usage. For integrating TensorRT specifically into applications relying on LLMs: - **Model Serialization**: After training phases conclude, serialization processes convert trained weights into formats compatible with target hardware environments. For instance, after completing development cycles using frameworks supporting multi-GPU setups optimized via methods discussed previously[^3], one would serialize these models before moving forward towards deployment stages outlined elsewhere[^4]. - **Optimization Techniques Applied During Inference**: - *Precision Scaling*: Utilize mixed precision techniques where possible; this involves running parts of computations at reduced floating-point accuracy without sacrificing overall model fidelity. ```python import tensorrt as trt # Example configuration snippet showing how to set up builder flags for enabling fp16 mode during export phase TRT_LOGGER = trt.Logger(trt.Logger.WARNING) builder = trt.Builder(TRT_LOGGER) network = builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) config = builder.create_builder_config() config.set_flag(trt.BuilderFlag.FP16) ``` - *Kernel Fusion & Pruning*: Combine operations within computational graphs reducing redundant calculations while maintaining output quality levels expected by end-users interacting directly with deployed services based around those LLM instances. - *Batch Processing*: Implement batching strategies allowing multiple inputs processed simultaneously thereby improving throughput rates especially under high concurrency scenarios common among cloud-native deployments targeting conversational AI use cases powered by advanced NLP algorithms implemented over robust infrastructure backends capable enough handling complex workloads efficiently thanks partly due contributions made toward scalable solutions mentioned earlier regarding foundational architectural advancements[^1]. --related questions-- 1. What are some best practices for optimizing LLMs specifically tailored for edge devices? 2. How does quantization impact the accuracy versus speed trade-off in LLM deployments? 3. Can you provide examples of successful production-grade implementations combining both MP and DP paradigms alongside TensorRT integrations? 4. Are there any notable differences between deploying transformer-based models versus recurrent neural networks utilizing TensorRT's optimization features?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BQW_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值