千亿参数大模型如何在cpu上跑

链接：

GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs

微软开源成果——bitnet.cpp，旨在实现超高效推理。通过bitnet.cpp，无需依赖GPU，本地设备上流畅运行规模达1000亿参数的语言模型。6.17倍的速度提升，能耗降幅高达82.2%。

可以下载在自己电脑上尝试。