Ollama通过gguf文件加载AI模型

最新推荐文章于 2025-03-07 14:53:00 发布
最新推荐文章于 2025-03-07 14:53:00 发布
阅读量3.1k 收藏 23
点赞数 12
文章标签： 人工智能 windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75335496/article/details/141466859
版权

#0 下载AI模型文件

首先需要准备好AI模型文件（.gguf），可以在 这里 下载到。

#1 下载并配置Ollama

1. 下载

准备好Ollama，可以从 ollama官网 下载

2. 创建Modelfile文件

下载完成后找到安装目录（可以在开始菜单右键其图标，选择“打开文件位置查看”），在其目录下新建一个“Modelfile”文件：

并在文件内写入

FROM
最低0.47元/天 解锁文章
ollama竟然可以直接加载huggingface上的gguf格式的模型？还支持通过镜像网站对下载过程加速？
xiezhipu的博客
02-27 360
当开发者们还在为模型部署的复杂流程焦头烂额时，Ollama在2024年10月的史诗级更新彻底改写了游戏规则。这个被称为"AI界的Docker"的工具，不仅实现了对HuggingFace Hub上45,000+个GGUF格式模型的一键加载，还贴心地为中国开发者打通了镜像加速通道。本文将深度解析这项技术突破的底层逻辑，并手把手教你玩转这两个革命性功能。SYSTEM "你是一个专业的中文法律顾问"
ollama教程——如何在Ollama中导入和管理GGUF与Safetensors模型
walkskyer的博客
07-09 7153
在使用Ollama之前，了解其支持的模型格式和版本要求是非常重要的。这部分将介绍Ollama支持的模型格式及其版本要求，并指导如何安装Ollama以确保您能够顺利进行模型导入。GGUF（General Graphical User Format）是一种高效的二进制文件格式，专门用于存储和读取机器学习模型的数据。它的设计目的是提供快速的加载和保存操作，同时保持模型数据的完整性和准确性。由于其高效性，GGUF格式被广泛应用于需要频繁读取和写入模型数据的场景中。
ollama 导入GGUF模型文件
失业求捞！
05-13 1万+
1：创建一个文本文件，建议改名为模型名，扩展名为Modelfile。比如你下载的模型文件名是llama-8b.gguf，那这个文件名就叫llama-8b.modelfile。打开ui交互界面，看看模型选择，也有了。3： 在命令行中执行指令转换模型。完成转换的模型会提示success。
使用Ollama配置本地微调的gguf模型文件
weixin_43217276的博客
07-30 3445
在之前的文章中，我们已经得到了经过我们微调的大语言模型，不管是在本地部署使用或者是用OpenWebUI界面部署在服务器上达到和chatGPT界面类似的效果，使用Ollama部署一定是最好的选择。以下均为在Ubuntu系统（Linux）上的测试。
Linux的Ollama离线部署与各模型gguf文件离线导入
qq_45875033的博客
03-07 1449
curl --location --request POST 'http://127.0.0.1:11434/api/generate' \--header 'Content-Type: application/json' \--data '{"model": "deepseek-14b","stream": false, "prompt": "1加1等于几?修改vi /etc/systemd/system/ollama.service，修改里面的11434。5、修改环境的端口，让外部服务器可以访问。
Ollama手动导入GGUF模型文件
热门推荐
weixin_46241866的博客
12-26 1万+
本文详述了GGUF模型下载，并将模型手动导入 Ollama 的操作步骤。
Ollama加载gguf模型
leo0308的博客
08-02 3331
在 https://huggingface.co/models 上搜索对应模型的gguf文件下载即可。如 Qwen/Qwen2-0.5B-Instruct-GGUF。文件格式没要求， 用简单的txt文件就行。
记OLLAMA加载本地GGUF模型（windows环境+modelscope下载Qwen2.5-0.5B模型）
qq_38737204的博客
10-23 5575
OLLAMA报错网络原因无法下载模型，使用modelscope下载gguf模型后再运行的记录。
【LLM大模型】Ollama 运行 GGUF 模型
2301_81888214的博客
09-29 3028
【LLM大模型】Ollama 运行 GGUF 模型
Ollama+GGUF离线加载本地模型deepseek r1
最新发布
04-03
为了实现通过Ollama框架以及GGUF格式来离线加载DeepSeek R1模型，以下是详细的说明： #### 准备工作 首先需要安装并配置好Ollama工具链。可以通过以下命令完成Ollama的安装： ```bash curl ...
Ollama+GGUF离线加载本地模型
danielxinhj的博客
07-30 8468
一般在使用Ollama下载模型时，都是从官方仓库下载（使用，但一些环境下，受限于网速等原因使用这种方式可能会非常慢甚至无法下载，所以我们可以选择使用上的文件，在Ollama仓库里的模型都可以在Huggingface上找到，因此我们可以使用Ollama+GGUF文件离线加载模型。
吴恩达Deep Learning.ai 序列化模型作业及文件
04-12
压缩文件太大，这里仅提供云盘下载链接和提取码。文件包含作业代码和所有图片和模型文件，每周习题，所需数据。
ollama windows 加载本地gguf模型
weixin_52582710的博客
02-25 386
1.在gguf文件目录新建文本文件Modelfile。2.调整第一行模型名称。
ollama从gguf镜像导入导出模型
robinfoxnan的专栏
05-31 5578
ollama加载gguf格式文件
Ollama怎么启动.gguf 大模型
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
07-29 2246
Llama3-8B。
ollama 跑gguf
dannisklx的专栏
07-29 1060
创建一个名为Modelfile的文件，并在其中添加FROM指令，指定要导入的模型的本地文件路径。在Ollama中创建模型。
Ollama windows命令行一键导入gguf模型到Ollama
2401_84742659的博客
02-23 365
3. 在脚本所在目录打开Windows命令行，执行import-ollama.bat脚本脚本，输入参数为：gguf模型文件名称1 ollama模型名称1 gguf模型文件名称2 ollama模型名称2 gguf模型文件名称3 ollama模型名称3。
Llama模型GGUF格式下载与加载指南
m0_53100578的博客
12-18 4443
GGUF（GPT-Generated Unified Format）是一种专为大规模机器学习模型设计的二进制文件格式。它通过将原始的大模型预训练结果进行优化后转换而成，具有加载速度快、资源消耗低等优势。GGUF格式支持内存映射技术，使得模型数据可以直接映射到内存中，从而提高了数据处理的效率。此外，GGUF还支持跨硬件平台优化，能够在CPU和GPU上高效运行。通过本文的介绍，你应该已经了解了如何从Huggingface下载Llama模型的GGUF文件，并使用Ollama工具进行离线加载。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值