在CPU上运行100B模型只需4MB内存！微软BitNet掀了英伟达的桌子！

最新推荐文章于 2025-04-24 07:09:19 发布
最新推荐文章于 2025-04-24 07:09:19 发布
阅读量821 收藏 11
点赞数 23
文章标签： AI大模型 程序员 LLM 大模型应用 人工智能 大模型开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81940605/article/details/147440807
版权

在AI大模型领域，微软再次以惊人之势打破常规：BitNet，一个专为1位LLM（Large Language Model）设计的推理框架，正以前所未有的极简精度和超高性能，颠覆你对算力与资源的所有认知。它采用三值量化（-1、0、+1），将模型大小瘦身至原来的1/16，CPU上可获得2.37×–6.17×的加速，同时节能高达82.2%。不仅如此，BitNet甚至可以在普通笔记本CPU上实现100B参数级模型的本地推理，让“随身携带顶级AI”不再只是科幻！

图片

BitNet是什么？

BitNet是微软开源的1位LLM推理框架，通过将权重量化为仅有三种可能值（-1、0、+1），即1.58位精度，极大地压缩了模型体积，同时保持了与全精度模型相当的性能水平。

架构亮点

  • BitLinear层：专门设计的线性层，适配1.58位权重；

  • RoPE位置嵌入：保留Transformer高效的序列编码能力citeturn1search0；

  • ReLU²激活：更稳定的非线性变换，助力精度损失最小化；

  • SubLN规范化：简化层归一化，剔除冗余偏置。

性能爆炸：CPU逆袭GPU

极速推理

  • 在x86架构CPU上，BitNet可实现2.37到6.17倍的推理加速；

  • 在ARM架构CPU上，加速幅度达1.37倍到5.07倍。

极致能效

  • x86 CPU能耗降低71.9%–82.2%，ARM CPU能耗削减55.4%–70.0%，用更少电力输出更强算力；

  • 2B参数模型仅需约400MB内存，与常规FP16模型的2GB相比，节省了80%以上资源。

本地化大模型：100B参数不再是梦

BitNet实现了在单核CPU上运行100B参数模型，每秒处理5–7个token，与人类阅读速度相当，让大模型脱离数据中心束缚，轻松部署在笔记本和嵌入式设备上。

最新动态速递

  • 2025年4月14日：BitNet官方2B参数模型已在Hugging Face发布，立即可用；

  • 2025年2月18日：发表新论文《Bitnet.cpp: Efficient Edge Inference for Ternary LLMs》，引入TL与I2_S两大核心技术，实现6.25倍超高加速，并开源代码；

  • 2024年11月8日：发布BitNet a4.8，4位激活量化方案进一步提升推理速度和模型兼容性。

安装与入门指南

环境要求

  • Python ≥3.9、CMake ≥3.22、Clang ≥18；

  • 推荐使用conda管理虚拟环境，轻松一键安装依赖。

图片

图片

https://github.com/microsoft/BitNet

 如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

基于此，我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近70次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包，现在将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

五、AI产品经理大模型教程

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

​

 

大模型系列——在CPU上运行DeepSeek-R1
2401_84052244的博客
03-19 4097
在 CPU 上运行 LLM 提供了一种扩大可访问性的替代方案，允许更多用户在现有硬件上利用 AI。本指南探讨了在 CPU 上有效使用 DeepSeek R1 的方法。随着对 AI 驱动应用程序的需求不断增长，大型语言模型 (LLM) 已成为各个领域的重要工具。然而，大多数这些模型都需要强大的 GPU 才能有效运行，这使得许多用户无法使用它们。并不是每个人都能买得起高端 GPU，而且从长远来看，云服务的成本可能很高。
微软开源1-bit LLM：在单个 CPU 上使用 BitNet b1.58 在本地运行 100B 参数模型
iCloudEnd的博客
10-26 210
大型语言模型 (LLM) 已经改变了 AI 格局，但其庞大的规模也带来了同样巨大的计算成本。如果我们能够在不牺牲性能的情况下显著提高这些模型的效率，那会怎样？这正是研究人员通过 BitNet b1.58 实现的，开创了 1 bit LLM 时代。
星际对话：探秘极致低精度的BitNet b1.58 2B4T传奇
最新发布
步子哥的博客
04-24 1154
BitNet b1.58 2B4T不仅仅是一款高效的1-bit语言模型，它更像是一位勇敢的先行者，阐释了在极端量化条件下依然可以达到与全精度模型相媲美甚至超越的性能。通过架构重构——从Transformer到定制的BitLinear层；通过系统训练——从高学习率到低温冷却、从监督微调到直接偏好优化；以及通过专门的推理实现——针对GPU与CPU均开发优化内核，这一系列创新之举为众多研究者和开发者指明了一条全新的高效模型设计道路。探索更大规模（例如7B或13B参数量）1-bit模型的训练规律和性能极限；
ChatGML-6B大模型Windows部署（可CPU运行 保姆级教程）
2401_84080967的博客
04-13 3132
ChatGML-6B 是一个大型语言模型,被训练来预测人类语言。它是基于 GPT 模型的一种改进版本，拥有 6.3 亿个参数，是当前最大规模的中文语言模型之一。ChatGML-6B 模型由清华大学 KEG 实验室和智谱AI共同训练,拥有强大的语言理解和生成能力。
深度学习系列61：在CPU上运行大模型
kittyzc的博客
03-04 2793
git地址为：https://github.com/ggerganov/whisper.cpp。
能在 CPU 上运行的开源大模型推理框架
云水木石
10-28 1429
如今，大模型的发展势头迅猛，而且，大模型的演进出现了两种分化趋势：一方面，开源大模型的规模不断扩大，从最初的数十亿参数迅速扩展到数千亿参数，照这个趋势，很快就会突破万亿级的超大规模。这类巨型模型通过引入更丰富的语义理解、复杂的推理能力和跨领域知识整合，展现出强大的智能。各大厂商开展军备竞赛，为了追求更高的准确率和更强的泛化能力，大模型的“无上限”扩展不断突破技术和硬件的边界。另一方面，模型也在向小...
Linux纯CPU环境部署运行大模型实践
weixin_42458975的博客
06-06 3801
介绍在单台linux系统电脑，纯CPU运行环境下部署运行大模型的三种方式，基于ollama工具，lame.cpp工具和transformers方式加载运行。总体来说，三种方式都较为方便，并且在资源和性能平衡上给出建议，非常适合初学者上手实践。
用通俗易懂的方式讲解大模型：在 CPU 服务器上部署 ChatGLM3-6B 模型
2301_78285120的博客
01-03 3708
在开始实际操作之前，我们需要了解这次操作中涉及到的工具和术语的含义，这样才能更好的理解后面的内容。我们将使用chatglm.cpp[6]这个工具来进行模型量化，它是基于GGML[4]库实现的量化工具，除了可以量化 ChatGLM 系列的 LLM 外，还支持其他比如 BaiChuan、CodeGeeX、InternLM 等 LLM 的量化。
BitNet.cpp：让你的CPU也能跑百亿参数大模型！
步子哥的博客
10-25 1107
BitNet.cpp就是这个火箭引擎的控制系统，它提供了一套优化的内核，让1.58比特模型在CPU上跑得飞快，甚至能达到每秒5-7个token的速度，堪比人类阅读！BitNet.cpp目前支持多种1比特LLM模型，例如bitnet_b1_58-large、bitnet_b1_58-3B和Llama3-8B-1.58-100B-tokens等。在ARM CPU上，BitNet.cpp的加速比达到了惊人的1.37倍到5.07倍，能耗更是降低了55.4%到70.0%！想看看BitNet.cpp的实际效果？
微软大模型1B开源的 bitnet.cpp简介
esion23011的专栏
10-28 652
微软开源的bitnet.cpp是一个针对1-bit大型语言模型（LLM）的推理框架，它能够在普通CPU上高效运行，无需依赖GPU。这个框架特别适合在资源受限的设备上运行大规模的模型，同时还能显著降低能耗和提高运行速度。bitnet.cpp。
大模型参数大小，占用多少字节，验证环节需要多少算力；“100B Token，支持8K上下文”是什么意思 ；Llama模型；
ZJQ的博客
11-10 590
100B Token，支持8K上下文”这一描述，通常用来表示某个语言模型或系统的处理能力和上下文理解能力。其中，“100B Token”指的是模型能够处理的数据量的大小，“支持8K上下文”则指的是模型能够同时处理或理解的文本长度和上下文信息。这两个特性共同决定了模型在自然语言处理任务中的性能和表现。
『大模型笔记』Transformer 推理算法！
AI新视界
05-27 223
Transformer 推理算法！
服务器仅靠4颗CPU运行千亿大模型的“算法秘籍”
AI科技大本营
08-06 1741
日前，浪潮信息研发工程师基于2U4路旗舰通用服务器NF8260G7，通过张量并行、模型压缩量化等技术，解决了通用服务器的CPU计算资源不足、内存带宽瓶颈、缺乏大规模并行计算环境等问题，在业内首次实现服务器仅依靠4颗CPU即可运行千亿参数“源2.0”大模型。
一条命令本地 CPU 环境快速上手 Google 开源大模型 Gemma 【保姆级教程】
dwh0403的专栏
03-11 1581
Ollama 的目标是推动大型语言模型的发展，提升模型的性能，同时也为开发者提供了一个分享和学习的社区。在这个社区中，开发者可以分享他们的模型，学习他人的经验，共同推动大型语言模型的发展。使用注册后的账号登录进入到整体主页面，这里的主页面和 ChatGPT 的使用页面类似，当前我们还未下载模型，需要通过设置下载支持的模型，支持 Llama 2、Mistral 等多种开源模型。只需要简单的一行命令，我们可以快速在本地运行 Google Gemma 大模型，还犹豫什么，快速体验一下吧。
CPU跑大模型怎么加速?
学习与分享人工智能技术
03-26 1026
本文介绍了HuggingFace官方教程中的CPU大模型推理加速方案。
使用OpenVINO在本地CPU运行大模型的过程
ybdesire的专栏
04-27 1290
本文在CPU上实测一下OpenVINO运行大模型ChatGLM3-6b的运行效果，并记录整个过程
BitNet——用单个比特进行推理的大语言模型，性能媲美全精度Transformer
知来者逆的博客
08-07 1979
本研究提出了一种基于单比特变换器的大规模语言模型。研究还全面比较了 BitNet 与传统量化方法和普通 Transformer，并讨论了它们之间的差异。结果表明，BitNet 可以实现比传统量化方法更高的效率和准确性。此外，其结果与普通 Transformer 的准确性不相上下，令人惊讶。未来，随着大规模语言模型变得更加庞大，研究模型量化方法的重要性预计会增加，而 BitNet 被认为有潜力成为这一领域的领导者。从这个意义上讲，我们期待着进一步讨论该模型的通用性和应用限制。
微软超快超小参数大模型开源：bitnet-b1.58-2B-4T
直达开源前线，冲冲冲！
04-17 1880
BitNet b1.58-2B-4T 作为首个开源的原生 1 位大规模语言模型，在性能和效率方面展现了显著优势。其创新的量化策略和高效实现为大规模语言模型的部署提供了新的可能性。然而，用户在使用时需注意其适用场景和实现方式，以充分发挥其潜力。
BitNet 项目使用与配置指南
gitblog_00181的博客
04-09 365
BitNet 项目使用与配置指南 BitNet Official inference framework for 1-bit LLMs 项目地址: https://gitcode.com/gh_mirrors/bitne/BitN...
atc100b电容 ads模型
07-14
### 回答1： ATC100B电容是一种陶瓷介质多层片式电容器。它具有体积小、重量轻、耐振动、抗高温等特点，被广泛应用于各种电子设备中。 ATC100B电容的ADS模型是一种用于仿真和设计电子电路的模型。ADS模型提供了ATC100B电容在电路中的行为特性，例如电容值、频率响应和损耗等。通过利用ADS模型，设计师可以更好地理解和分析电容器在电路中的影响，并根据需要进行优化和调整。 ADS模型还可以用于快速评估和验证设计方案，以及进行电路性能分析。在电子器件设计过程中，ADS模型能够提供准确的仿真结果，帮助设计师节省时间和成本。 总之，ATC100B电容的ADS模型是一种有助于电子电路设计和分析的工具。它能够提供电容器的行为特性，并帮助设计师更好地评估和优化电路性能。 ### 回答2： ATC100B电容是一种多层陶瓷电容器，在电子电路中用于存储和传输电荷，具有高频带宽、低损耗、高稳定性等特点。ADS模型是一种电路仿真软件，用于设计、分析和优化电路。 ATC100B电容的ADS模型基于该电容的特性参数，通过数学模型将其电性能转化为电路模型，以方便在ADS软件中进行电路仿真。ADS模型包含了电容的参数和连接方式，可以帮助工程师在电路设计过程中更准确地预测和优化电路性能。 ATC100B电容的ADS模型可以用于各类电路仿真，如滤波器、放大器、振荡器等。通过在ADS软件中建立电路模型并进行仿真，可以评估电容在电路中的性能表现，包括功耗、频率响应、噪声等。 在使用ATC100B电容的ADS模型时，需要准确设置电容的参数，包括电容值、电压容限、频率特性等。通过调整这些参数，可以验证电容在不同工作条件下的性能，并根据需要进行优化。 总之，ATC100B电容的ADS模型是一种方便而实用的电路仿真工具，可以帮助工程师更好地设计和优化电路。它提供了一种便捷而准确的方法，使得电路设计过程更加高效和可靠。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值