windows安装并编译llama.cpp步骤，亲测可用

已于 2025-05-22 15:27:24 修改
阅读量394 收藏 4
点赞数 9
文章标签： llama
于 2025-05-22 15:23:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73156481/article/details/148141032
版权

一、下载visual studio

下载 Visual Studio Tools - 免费安装 Windows、Mac、Linux

选择c++桌面开发

二、下载cmake

Download CMake

三、下载CUDA toolkits（需要GPU加速可选）

CUDA Toolkit - Free Tools and Training | NVIDIA Developer

四、安装 curl（需要联网下载模型可选）

git clone https://github.com/microsoft/vcpkg.git
cd vcpkg
.\bootstrap-vcpkg.bat
.\vcpkg install curl:x64-windows

        需手动新建模型下载目录C:\Users\Administrator\AppData\Local\llama.cpp

五、下载llama.cpp源代码并编译：

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build build --config Release

        -B build：指定构建目录为 ./build。
        -DGGML_CUDA=ON：启用 CUDA 支持（需已安装 CUDA 工具包）。
        -DLLAMA_CURL=ON：启用 CURL 支持（需已安装 curl）

六、进入build\bin\Release目录开始使用llama

Llama.cpp 服务器安装指南（使用 Docker，GPU 专用）
canduecho的专栏
02-27 1063
构建服务器镜像-t：命名镜像为。：仅构建服务器版本。-f：指定修改后的。：使用当前目录作为构建上下文。构建时间：10-20 分钟，取决于网络和机器性能。验证。
大模型部署工具 llama.cpp 介绍与安装使用
youmaob的博客
04-07 1万+
另外一个是量化，量化是通过牺牲模型参数的精度，来换取模型的推理速度。llama.cpp 提供了大模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约。llama.cpp 提供了模型量化的工具。
windows下部署llama.cpp
qq_36437991的博客
04-01 3369
windows下部署llama.cpp
llama.cpp量化模型以及ollama部署（Windows）
m0_69947303的博客
04-14 1110
【代码】llama.cpp量化模型以及ollama部署（Windows）
【Llama2 windows部署详细教程】第二节：llama.cpp成功在windows上编译的秘诀
oandy0的博客
01-20 2961
Llama2 开源大模型推出之后，因需要昂贵的算力资源，很多小伙伴们也只能看看。好在llama.cpp推出之后，可对模型进行量化，量化之后模型体积显著变小，以便能在windows CPU环境中运行，为了避免小伙伴们少走弯路。
在线或离线llama.cpp安装和模型启动
hahaha_1112的博客
01-10 3945
先附上llama.cpp的github地址：https://github.com/ggerganov/llama.cpp，build地址：https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md。如果需要在内网服务器中安装，可以下载llama.cpp的源码文件或二进制文件，下载地址：https://github.com/ggerganov/llama.cpp/releases。，如果没有可以跳过，如果有请按照我的以下流程安装一遍。
第一弹：llama.cpp编译
joedan0104的专栏
09-25 7836
1.编译llama.cpp命令行（电脑版本）；2.交叉编译安卓命令行版本。
windows上搭建llama小型私有模型
wuanwujie的博客
09-24 3614
导言目标一、命令行运行大模型llama安装前的准备运行大模型二、 使用python调用模型环境准备使用langchain调用llama模型欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Markdown。
在低配Windows上部署原版llama.cpp
haleycat的博客
06-20 8203
现在大语言模型的部署，通常都需要大的GPU才能实现，如果是仅仅想研究一下，大语言模型的算法，我们是很想能够直接在我们的工作电脑上就能直接运行的，llama.cpp就是很好的实现。LLaMa.cpp使用int4这种数值格式，其显著降低了内存需求，并且在大多数硬件上其性能严重受到内存限制。LLaMa.cpp使用原始C ++的项目来重写LLaMa（长格式语言模型）推理代码。这使得可以在各种硬件上本地运行LLaMa，包括。在使用一些优化和量化技术来量化权重的情况下，LLaMa.cpp。
无需云端！国产开源大语言模型llama.cpp本地实战
虽非技冠群英首，愿与同道共长歌； 大鹏一日同风起，扶摇直上九万里；
11-09 1541
作者：高瑞冬文章是2023年底写的。代码和运行方式现在有些旧了。但是基本的原理是一样的。现在也出来ollama，vllm等工具框架用来本地部署大模型。有空再更新一下。背景。
llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）
热门推荐
god_Zeo的安全博客
04-23 2万+
前不久，Meta前脚发布完开源大语言模型LLaMA，随后就被网友“泄漏”，直接放了一个磁力链接下载链接。然而那些手头没有顶级显卡的朋友们，就只能看看而已了但是 Georgi Gerganov 开源了一个项目llama.cpp次项目的牛逼之处就是没有GPU也能跑LLaMA模型大大降低的使用成本，本文就是时间如何在我的 mac m1 pro 上面跑起来这个模型。
用GGUF和Llama.cpp量化Llama模型
wangyifan123456zz的博客
02-26 5290
GGML是一个专注于机器学习的C语言库。它是由Georgi Gerganov创建的，这是GG的首字母缩写。这个库不仅提供了机器学习的基本元素，如张量，而且还提供了一种独特的二进制格式来分发llm。该格式最近更改为GGUF。这种新格式被设计为可扩展的，因此新特性不会破坏与现有模型的兼容性。它还将所有元数据集中在一个文件中，例如特殊 tokens、RoPE缩放参数等。简而言之，它解决了历史上的一些痛点，而且应该经得起未来的考验。欲了解更多信息，您可以在此地址阅读规范。
镜像安装llama.cpp
03-15
根据引用[1]，llama.cpp的编译步骤包括安装编译环境、克隆仓库、进入build目录、使用CMake编译。其中，git clone是从GitHub下载代码，这一步如果用户遇到网络问题，可能需要使用GitHub的镜像源，比如国内的Gitee镜像...
《Llama.cpp：开启本地大模型部署新时代》
最新发布
zheng_ruiguo的专栏
04-24 1200
通过与 Ollama 和 VLLM 的对比，我们可以清晰地看到 Llama.cpp 在不同场景下的优势与劣势，它就像一把双刃剑，在某些方面展现出无与伦比的优势，而在另一些方面也存在着一定的局限性。在优势方面，Llama.cpp 的量化技术使其在资源受限的设备上表现出色。无论是在树莓派这样的嵌入式设备，还是在移动设备上，Llama.cpp 都能够通过支持多种量化精度，在大幅降低内存占用的同时，保持可用的推理性能。这种在低资源环境下运行的能力，是许多其他项目所无法比拟的。
Llama2通过llama.cpp模型量化 Windows&Linux本地部署
早安不安的博客
11-11 9181
本地部署和使用llama.cpp进行量化Llama2，linux和Windows平台方案，支持CPU和GPU多版本。
windows系统编译llama.cpp&gpu版本。。
2302_79083026的博客
03-09 665
用cmake在window系统下编译llama.cpp的gpu版本。。
掌握 llama.cpp 量化部署与 ollama 导入模型，轻松搞定模型部署难题！
Gblfy_Blog
03-02 1254
掌握 llama.cpp 量化部署与 ollama 导入模型，轻松搞定模型部署难题！
window下w64devkit编译llama.cpp
weixin_49186516的博客
09-30 704
基本上都是使用cmake切换到llama.cpp路径调用以下命令我一直报错，无法解决参考以下链接解决了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值