CMAKE在windows上的安装，用于gguf模型的量化

最新推荐文章于 2025-02-09 21:09:09 发布

格瑞Lxf

最新推荐文章于 2025-02-09 21:09:09 发布

阅读量298

点赞数 2

文章标签：语言模型

本文链接：https://blog.csdn.net/China_boy007/article/details/135862582

版权

本文介绍了如何从DownloadCMake官网下载首个msi文件进行安装，过程中需手动接受某些设置并自定义安装路径，最后在终端确认安装完成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Download CMake官网下载连接，下载第一个msi文件

然后安装一路按next，其中的一步需要改一下

这个得手动接受

这个要手动选择第二个

后面的话安装路径想改就改

完成后在终端查看，就行了

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

格瑞Lxf

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【ai】如何在ollama中随意使用hugging face上的gguf开源模型

每日出拳老爷子的博客

06-18

2720

ollama的pull命令可以直接pull ollama列表中现有的模型，但是ollama可以直接pull的模型大都是英语偏好（llama2有直接可以pull的chinese版本），而hugging face上则有大量多语种训练的模型，如果能直接使用hugging face上的gguf开源模型，那就自由多了，本篇介绍方法。

diffusion 模型gguf量化使用案例，支持CPU运行

weixin_42357472的博客

08-31

488

参考： https://github.com/leejet/stable-diffusion.cpp 模型下载，大小4G左右推理，大概需要2G左右显存

1 条评论您还未登录，请先登录后发表或查看评论

GGML 或GGUF的14种不同量化模式说明

热门推荐

znsoft的专栏

12-12

3万+

对应于不同类型的量化。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。一般来说，K_M版本比K_S版本更好。我不推荐 Q2 或 Q3 版本，因为它们会大大降低模型性能。

第二十一篇-LM-Studio安装部署gguf模型到windows电脑

木卫二号的专栏

02-28

8403

一般CPU,1B 7B 模型，int4量化还是可以用用的，更大模型推荐GPU。

本地基于GGUF部署的DeepSeek实现轻量级调优之一：提示工程（Prompt Engineering）（完整详细教程）

搏博的专栏

02-09

3933

前文，我们在本地windows电脑基于GGUF文件，部署了DeepSeek-1.5B模型，如果想自行对模型进行训练，离线模式下加载本地的DeepSeek模型进行训练时，是不能直接使用GGUF文件进行训练。（1）推理优化：GGUF（GPT-Generated Unified Format）是专为高效推理设计的二进制格式，常用于llama.cpp等工具在CPU/GPU上运行量化模型。（2）量化支持：支持多种量化方法（如Q4_K_M、Q5_K_S），显著减少显存占用，但会损失部分精度。

大模型本地部署

zyzlhy的博客

09-04

4980

(1) 使用LMStudio，LM Studio 是一个桌面应用程序，允许本地运行大型语言模型（LLMs，LM Studio支持的是guff格式的模型，这类模型经过重新编译打包，整体尺寸更小，文件合一，非常适合移动和存储，尤其适合在迷你主机上运行。(1)打开LM studio之后，先点击本地模型管理，然后再点击更改模型路径，选择models根目录，选择好后会自动识别下面的模型文件 ( models文件夹下面必须有两级路径，否则识别不到模型 )官网：https://lmstudio.ai/

源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程

2401_82700030的博客

07-04

4805

源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型源2.0-102B，源2.0-51B和源2.0-2B。并且我们提供了预训练，微调，推理服务的相关脚本，以供研发人员做进一步的开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。更多详情请参考Yuan2.0模型技术报告和Github。

将大模型量化为GGUF模型文件

2401_83692861的博客

06-17

1254

大语言模型在各种领域都有着广泛的应用，但是也面临着一些挑战，比如模型的大小、计算量和内存占用都很大，这限制了模型在某些设备上的部署和运行。为了解决这些问题，模型量化应运而生。模型量化是一种将浮点计算转成低比特定点计算的技术，它可以有效的降低模型计算强度、参数大小和内存消耗，从而提高模型的推理速度和效率。它是一种新的二进制模型文件，它可以对深度学习模型进行高效的压缩，大大减少模型的大小和内存占用，从而提高模型的推理速度和效率，同时兼顾模型的推理质量。

llama.cpp本地部署qwen2量化后的gguf模型

NEWBOY666的博客

08-07

842

编译完成后会在llama.cpp\build\bin\Release下生成llama-cli.exe。祝大家成功复现，如果没有GP的话，cpu或者AMD的相关gpu也是可以的，详细可以查看llama.cpp官网。注：windows上编译教程（打开工程文件后执行下列操作）

debain 12.9安装sglang，如何使用sglang部署gguf量化模型

02-21

好的，用户现在的问题是询问如何在Debian 12.9上安装sglang，并使用它来部署GGUF量化模型。之前他们问过关于使用sglang.launch_server部署GGUF模型的问题，现在需要更具体的步骤，特别是针对Debian系统的安装和部署...

debain 12.9、显存4G，安装sglang，如何使用sglang部署gguf量化模型

02-21

好的，我现在需要帮助用户在Debian 12.9系统上，使用4G显存的显卡，通过sglang部署一个GGUF量化模型。首先，我得了解用户的具体需求和当前的环境情况。用户提到的是Debian 12.9，这是一个稳定的Linux发行版，所以...

如何创建GGUF模型文件？让你在本地电脑上体验Llama2大型语言模型

dotNET跨平台

11-13

3816

Llama 2 是 Meta 公司发布的最新一代开源大模型，训练数据集达2万亿 Token，上下文长度由 llama 1 的 2048 扩展到 4096，能理解和生成更长的文本，在开源大模型中各基准的测试上表现突出，最重要的是，该模型可免费用于商业用途。关于模型量化大语言模型在各种领域都有着广泛的应用，但是也面临着一些挑战，比如模型的大小、计算量和内存占用都很大，这限制了模型在某些设备上的部署和运...

基于ollama和CPU运行本地gguf量化模型

gallonyin的博客

04-10

3667

本文先以Windows电脑运行为例，Linux同理本案运行配置：Win11/CPU i5/RAM 32G （实际运行使用约占用10G）假设你已经下载好了需要的xxx.gguf模型文件，本案：下载地址：https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF。

cmake的使用

梦心之魂的博客

06-02

7994

一、基本使用安装：下载二进制包后可直接解压使用。从源码安装则执行命令： ./bootstrap; ——尝试执行bootstrap失败 make; make install 使用：cmake dir_path，生成工程文件或makefile文件二、概念 out-of-sourcebuild，与in-source build...

记OLLAMA加载本地GGUF模型（windows环境+modelscope下载Qwen2.5-0.5B模型）

qq_38737204的博客

10-23

5591

OLLAMA报错网络原因无法下载模型，使用modelscope下载gguf模型后再运行的记录。

AI测试｜Windows下跑起大模型（Llama）操作笔记

m0_75277660的博客

02-21

1098

之前 Llama 刚出来的时候在 mac 上试了下，也在 windows 上用 conda 折腾过，环境配置步骤太多，都没跑起来。最近网上看到有预编译的，对环境要求降低了非常多，所以早上试了下，终于跑起来了。

spring-boot-2.3.0.RELEASE.jar中文-英文对照文档.zip