The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits

最新推荐文章于 2024-10-10 11:54:20 发布
最新推荐文章于 2024-10-10 11:54:20 发布
阅读量187 收藏
点赞数 4
分类专栏： LLM Daily 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/138559413
版权
本文介绍了BitNet b1.58，这是一种1位大型语言模型，其参数以{-1, 0, 1}表示，与全精度模型性能相当但更节省资源。1位LLM通过减少内存占用和计算开销，为混合专家（MoE）LLM提供解决方案，并原生支持长序列处理。BitNet b1.58有望提升边缘和移动设备上LLM的性能，且可能推动针对1位LLM的专用硬件设计。" 82191491,7384183,RSA非对称加密在前端与Node层的应用实践,"['加密', 'node-rsa', '前端开发', '后端开发', '网络安全']
摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits》的翻译。

1位LLM时代：所有大型语言模型都是1.58位

摘要

最近的研究，如BitNet，正在为1位大型语言模型（LLM）的新时代铺平道路。在这项工作中，我们引入了一个1位LLM变体，即BitNet b1.58，其中LLM的每个单个参数（或权重）都是三元{-1，0，1}。它在困惑和最终任务性能方面与具有相同模型大小和训练token的全精度（即FP16或BF16）Transformer LLM相匹配，同时在延迟、内存、吞吐量和能耗方面显著更具成本效益。更深入地说，1.58位LLM定义了一种新的缩放定律和配方，用于训练新一代的LLM，这些LLM既高性能又具有成本效益。此外，它实现了一种新的计算范式，并为设计针对1位LLM优化的特定硬件打开了大门。

1 1位LLM时代

2 BitNet b1.58

3 结果

4 讨论和未来工作

1位专家混合（MoE）LLM

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
每日论文速递 | 1-bit LLM时代：所有LLM都在1.58Bit中
zenRRan的博客
02-29 491
深度学习自然语言处理 分享整理：ppThe Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits摘要：最近的研究，如BitNet，正在为1位大型语言模型（LLM）的新时代铺平道路。在这项工作中，我们引入了一个1位LLM变体，即BitNet b1.58，其中LLM的每个单个参数（或权重）都是三进制{-1，0，1}。它匹配全精度（即...
The Era of 1-bit LLMs
whaosoft143ai的博客
02-29 490
表 1 总结了 BitNet b1.58 和 LLaMA LLM 的困惑度和成本：在困惑度方面，当模型大小为 3B 时，BitNet b1.58 开始与全精度 LLaMA LLM 匹配，同时速度提高了 2.71 倍，使用的 GPU 内存减少了 3.55 倍。特别是，当模型大小为 3.9B 时，BitNet b1.58 的速度是 LLaMA LLM 3B 的 2.4 倍，消耗的内存减少了 3.32 倍，但性能显著优于 LLaMA LLM 3B。然而，虽然这类量化技术在 LLM 中广泛使用，但并不是最优的。
1 bit LLM and 1 trit LLM
maxzcl的博客
03-22 1079
In light of NV's recent addition of fp4, I'm once again curious about the bottom line for LLM, at least for inference; let's go back to this BitNet paper from Microsoft, featuring 1 bit LLM, with 1-bit weights trained from scatch, and later on another feat
从16-bit 到 1.58-bit ：大模型内存效率和准确性之间的最佳权衡
deephub
03-11 4905
模型量化是深度学习领域一个重要的研究方向，它不仅可以帮助减小模型的存储和计算开销，还可以使得深度学习模型更容易在资源有限的设备上部署，推动了深度学习技术在边缘计算和物联网等领域的应用。但是目前4位的量化是目前研究的极限了，如果再缩小精度，会导致准确率大幅降低。但是1.58位llm的出现标志着人工智能技术发展又出现了一个新的方向。这些模型具有令人印象深刻的性能指标、更低的硬件要求，虽然这种方法还无法应用到现有的模型上，我想以后如果有什么方法能将其应用到现有的模型上那么对于人工智能来说将是一个巨大的飞跃。
【深度学习】大规模DiT模型部署轻松拿下！港中文等提出TerDiT：性能不输全精度模型...
fengdu78的博客
06-16 163
作者丨科技猛兽 编辑丨极市平台导读受低比特 LLM 量化感知训练方案的启发，本文研究了三值 DiT 模型的 QAT 量化方法，并引入了 DiT 特异性改进来更好地训练。本文目录1 TerDiT：三值 Diffusion Transformer(来自港中文，上海交大，上海 AI Lab)1 TerDiT 论文解读1.1 Diffusion Transformer 变大之后的部署难题1.2 Di...
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.02.25-2024.03.01
小小帅
03-01 1399
对大型语言模型（LLMs）进行细粒度控制仍然是一项重大挑战，这阻碍了它们对不同用户需求的适应性。虽然人类反馈强化学习（RLHF）在对齐 LLM 方面大有可为，但它对标量奖励的依赖往往限制了其在实际应用中捕捉不同用户偏好的能力。为了解决这一局限性，我们引入了定向偏好对齐（DPA）框架。与标量奖励的 RLHF 不同，DPA 结合了多目标奖励建模，以表示不同的偏好特征。此外，DPA 还将用户偏好建模为奖励空间中的方向（即单位向量），以实现用户偏好控制。
GPT-4时代已过？全球网友实测Claude 3，只有震撼
2401_85377976的博客
07-13 1010
性能比 GPT-4 强很多。大模型的纯文本方向，已经卷到头了？昨晚，OpenAI 最大的竞争对手 Anthropic 发布了新一代 AI 大模型系列 ——Claude 3。该系列包含三个模型，按能力由弱到强排列分别是 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。其中，能力最强的 Opus 在多项基准测试中得分都超过了 GPT-4 和 Gemini 1.0 Ultra，在数学、编程、多语言理解、视觉等多个维度树立了新的行业基准。
微软 x 国科大从底层掀翻大语言模型！1-bit LLMs 能推动 AI 硬件革命吗？
AI科技大本营
03-01 279
整理 |王启隆出品 | CSDN“XX 公司发布的大模型突破十亿/百亿/数百亿/千亿 ... 参数！”近年来，像这样的新闻标题层出不穷，因为人工智能大模型领域的竞争焦点之一便是模型规模的不断扩张，参数量高达数百亿乃至数千亿的大模型引发了媒体和行业的广泛关注。部分公司也注意到了这点，开始换个方向“卷”，试图用更小的参数实现同样的效果，比如来自法国的 Mixtral-7B 在这段时间就成为了圈内的明...
多模态系列-综述MM-LLMs: Recent Advances in MultiModal Large Language Models
lansebingxuan的专栏
03-28 1425
在过去的一年中，多模态大型语言模型（MM-LLMs）取得了实质性的进展，通过高效的训练策略，增强了现成的语言模型，以支持多模态输入或输出。由此产生的模型不仅保留了语言模型的固有推理和决策能力，还赋予了多样化的多模态任务。在本文中，我们提供了一份旨在促进进一步研究多模态大型语言模型的综合调查。首先，我们概述了模型架构和训练流程的一般设计公式。随后，我们介绍了一个包含122个多模态大型语言模型的分类体系，每个模型都具有其特定的公式。
Graph Machine Learning in the Era of Large Language Models (LLMs)
c_cpp_csharp的专栏
08-23 47
图在表示社交网络、知识图和分子发现等各个领域的复杂关系方面发挥着重要作用。随着深度学习的出现，图神经网络（GNN）已经成为图机器学习（Graph ML）的基石，促进了图结构的表示和处理。最近，LLM在语言任务中表现出了前所未有的能力，并被广泛应用于计算机视觉和推荐系统等各种应用中。这一显著的成功也引起了将LLM应用于图域的兴趣。人们越来越努力地探索LLM在提高Graph ML的泛化能力、可转移性和少镜头学习能力方面的潜力。
MM-LLMs: Recent Advances in MultiModal Large Language Models
c_cpp_csharp的专栏
03-01 660
在过去的一年里，多模态大型语言模型（MM-LLM）取得了长足的进步，通过具有成本效益的训练策略，增强了现成的LLM，以支持MM的输入或输出。由此产生的模型不仅保留了LLM固有的推理和决策能力，而且还赋予了各种MM任务权力。在本文中，我们提供了一个全面的调查，旨在促进MM LLM的进一步研究。最初，我们概述了模型架构和训练管道的一般设计公式。随后，我们介绍了一个包含122个MM LLM的分类法，每个LLM都有其特定的配方。
基于Keras的U-Net模型在图像分割与计数中的应用
深度学习实战训练营，一起交流探索深度学习
10-04 1562
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
阿利同学的博客
10-07 1162
毒蘑菇检测数据集 9200张 14类毒蘑菇 带标注 voc yolo
大模型1-本地部署实现交互问答
qq_42755230的博客
10-08 744
在本地部署大模型，并构建问答对话，实现大模型交互问答部署，本文以yuan和qwen为例。
北大对齐团队深度硬核解读：OpenAI o1开启「后训练」时代强化学习新范式
ys707663989的博客
10-06 2054
本文深入探讨了OpenAI o1的技术细节、的实现、合成数据与推理搜索的优化，以及AI安全的新启示，展示了大语言模型在推理能力提升和安全对齐方面的最新进展与未来方向。
线性判别器LDA
最新发布
qq_52421831的博客
10-10 466
LDA是一种有监督的降维方法，和它比较类似的是PCA(一种无监督的降维方法)
【进阶OpenCV】 （6）--指纹识别
m0_74896766的博客
10-06 1408
本篇介绍了，如何将源图像指纹同指纹库中的指纹进行匹配，并得到的对应指纹的信息。
树莓派外挂Camera4（pipeline）
fanged的专栏
10-03 680
现在说起Pipeline都有点迷糊了，很多都是这个概念。GStreamer里面有，相机里面有，然后还有别的地方也有。pipeline本身其实没什么特殊的，简单理解就是一段处理。晚上查了一下，确实这几个地方都叫pipeline，然后树莓派还有个自己的Post-processing，也就是后处理。今天主要说camera的和Post-processing的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值