Windows系统编译支持GPU的llama.cpp

最新推荐文章于 2025-05-02 21:40:32 发布

mingo_敏

最新推荐文章于 2025-05-02 21:40:32 发布

阅读量222

点赞数 3

文章标签： windows llama

本文链接：https://blog.csdn.net/shanglianlm/article/details/147629241

版权

Windows系统编译支持GPU的llama.cpp

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
mkdir build
cd build

cmake .. -G "Visual Studio 17 2022" -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release -DCMAKE_CUDA_ARCHITECTURES="86"

在这里插入图片描述

cmake --build . --config Release -- /m

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mingo_敏

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

玩转大语言模型——Ubuntu系统环境下使用llama.cpp进行CPU与GPU混合推理deepseek

艾醒的博客

03-04

570

llama.cpp是一个基于C/C++的开源项目，旨在高效地运行大型语言模型推理。纯采用纯C/C++编写，不依赖其他外部库，可移植性强，只要环境支持C/C++运行，就能运行llama.cpp。支持Apple芯片，通过ARM NEON等框架进行优化；支持x86架构的AVX等指令集；提供自定义CUDA内核，支持NVIDIA、AMD等GPU，还支持Vulkan和SYCL后端，可实现CPU+GPU混合推理。除此之外还支持1.5位到8位的整数量化，加快推理速度并减少内存使用，便于在资源有限的设备上运行。

Llama.cpp运行流程

weixin_60146555的博客

11-07

1093

在极端情况下，温度为 0 将始终选择最可能的下一个 token，从而导致每次运行中产生相同的输出。top-k 的值越高（例如 100），考虑的词元越多，文本就越多样化，而值越低（例如 10），则侧重于最可能的词元，并生成更保守的文本。top-k 的值越高（例如 100），考虑的词元越多，文本就越多样化，而值越低（例如 10），则侧重于最可能的词元，并生成更保守的文本。在极端情况下，温度为 0 将始终选择最可能的下一个 token，从而导致每次运行中产生相同的输出。该选项有助于防止模型生成重复或单调的文本。

参与评论您还未登录，请先登录后发表或查看评论

windows编译llama.cpp GPU版本

apache的专栏

12-29

1558

llama.cpp,, windows编译llama.cpp ，配置复杂，困难重重，每一步都是坑。

Win7编译GPU版llama.cpp部署deepseek-r1等大模型记录

mygodalien的博客

02-17

1198

本文是一个测试记录，供参考。目标是在Windows7系统下，实现llama.cpp的CPU编译、GPU编译，实现大模型的单机部署。GPU编译运行成功，但运行时没有调用GPU。

编译运行 llama.cpp (vulkan, Intel GPU SYCL)

穷人小水滴的博客

08-23

3308

本文使用容器 (podman) 编译了 llama.cpp 的 vulkan 后端和 SYCL 后端, 并成功在 Intel GPU (A770) 运行, 获得了较快的语言模型推理速度.SYCL 后端比 vulkan 后端稍微快一点, 但不多. 使用的模型 (gguf), 生成长度, 软件驱动版本, 运行参数设置等很多因素, 都可能影响模型推理的速度, 所以本文中的运行速度仅供参考.SYCL 比 vulkan 快不了多少,但是使用 SYCL却非常麻烦!!

windows系统编译llama.cpp&gpu版本。。

2302_79083026的博客

03-09

533

用cmake在window系统下编译llama.cpp的gpu版本。。

构建llama.cpp并在linux上使用gpu

百般回首曾经的相遇，留下的只是一缕残忆

10-06

3565

更多详情参见，官网网站会随着版本迭代更新。

llama.cpp在各个操作系统本地编译流程

FL1623863129的博客

02-03

2293

【代码】llama.cpp在各个操作系统本地编译流程。

一文熟悉新版llama.cpp使用并本地部署LLAMA

热门推荐

lovely_yoshino的博客

11-08

3万+

>关于UCloud(优刻得)旗下的compshare算力共享平台 UCloud(优刻得)是中国知名的中立云计算服务商，科创板上市，中国云计算第一股。 Compshare GPU算力平台隶属于UCloud，专注于提供高性价4090算力资源，配备独立IP，支持按时、按天、按月灵活计费，支持github、huggingface访问加速。 [https://www.compshare.cn/?ytag=GPU_lovelyyoshino_Lcsdn_csdn_display]

llama.cpp

AI工程化、开源分享、文档翻译、代码笔记

07-16

1913

一、关于 llama.cpp 支持的模型： **Multimodal models:** **Bindings:** **UI: ** **Tools:** 二、Demo 1、Typical run using LLaMA v2 13B on M2 Ultra 2、Demo of running both LLaMA-7B and whisper.cpp on a single M1 Pro MacBook 三、用法 1、基本用法 2、对话模式 3、网络服务 4、交互模式 5、持久互动 6、语法约束输出四

第一弹：llama.cpp编译

joedan0104的专栏

09-25

7353

1.编译llama.cpp命令行（电脑版本）；2.交叉编译安卓命令行版本。

llama.cpp部署

m0_37749564的博客

03-24

4471

训练完成之后，模型的参数就固定了，这时候就可以使用模型进行推理，对外提供服务。llama.cpp 主要解决的是推理过程中的性能问题。计算类 Python 库的优化手段之一就是使用 C 重新实现，这部分的性能提升非常明显。另外一个是量化，量化是通过牺牲模型参数的精度，来换取模型的推理速度。llama.cpp 提供了大模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数。除此之外，llama.cpp 还提供了服务化组件，可以直接对外提供模型的 API。

CMD与PowerShell：Windows命令行工具的对比与使用指南

欢迎来到我的CSDN个人博客主页！

04-29

1194

CMD（命令提示符）是Windows操作系统中的传统命令行解释器，起源于早期的MS-DOS操作系统。它提供了一个基于文本的界面，用户可以通过输入命令来执行各种操作。PowerShell是微软开发的更强大的命令行shell和脚本语言环境，最初发布于2006年。它基于.NET框架构建，提供了比CMD更丰富的功能和更强大的脚本能力。

GPU虚拟化实现（五）

wstc2689784536的博客

04-28

1158

项目如何去处理显存

纯原生Java实现：获取整个项目中指定接口所有的实现类

最新发布

哈

05-02

104

【代码】纯原生Java实现：获取整个项目中指定接口所有的实现类。

二叉树的前序、中序和后序遍历：详解与实现

qq_69304031的博客

04-27

599

先访问根节点，然后递归地遍历左子树，最后递归地遍历右子树。先递归地遍历左子树，然后访问根节点，最后递归地遍历右子树。先递归地遍历左子树，然后递归地遍历右子树，最后访问根节点。遍历方式访问顺序应用场景前序遍历根 -> 左 -> 右构建表达式树、复制二叉树、序列化二叉树中序遍历左 -> 根 -> 右生成有序序列、表达式树的中缀表达式后序遍历左 -> 右 -> 根删除二叉树、表达式树的后缀表达式。

顺序结构双链表的实现

weixin_45150754的博客

04-29

292

顺序结构双链表的实现

smss源代码分析之smss!SmpLoadSubSystemsForMuSession函数分析加载csrss.exe

linux-0.11调试教程

05-02

410

smss源代码分析之smss!SmpLoadSubSystemsForMuSession函数分析加载csrss.exe

GCC-C语言“自定义段”

qq_26226375的博客

04-30

1011

windows系统llama.cpp

12-27

### 安装CMake 为了能够在Windows系统上成功编译`llama.cpp`，首先需要确保已正确安装CMake。可以通过访问官方文档获取详细的安装指南[^1]。 ```powershell # 打开PowerShell并执行以下命令来验证是否已经安装了CMake cmake --version ``` 如果未检测到CMake，则应当前往官方网站下载适合操作系统的版本进行安装，并按照提示完成配置环境变量的操作以便可以在任何地方调用此工具。 ### 获取llama.cpp源码接下来是从GitHub仓库克隆最新的`llama.cpp`项目副本： ```bash git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp ``` 这一步骤会创建一个名为`llama.cpp`的新文件夹并将所有必要的资源复制进去。 ### 编译过程对于Windows用户来说，在拥有适当开发环境的前提下（比如Visual Studio），可以利用CMake生成对应的解决方案文件(.sln)，之后再通过IDE来进行实际的构建工作。 ```batch mkdir build && cd build cmake .. msbuild /p:Configuration=Release llama.sln ``` 上述指令序列先建立了用于存放编译产物的子目录(build),切换至其中；接着调用了CMake准备适用于当前平台的目标工程描述；最后借助MSBuild完成了最终链接阶段的任务，从而得到可执行程序。 ### 使用说明一旦顺利完成编译流程后就可以尝试运行测试样例了解基本功能特性: ```batch .\main.exe -m path\to\model.bin -t 8 -c 1024 -ngl 1 ``` 这条语句中的参数分别指定了加载哪个预训练权重集(-m)、线程数(-t)、上下文窗口大小(-c)以及GPU加速等级(-ngl)[^4]。