Ollama 通过GGUF 文件本地运行任何开源大模型

最新推荐文章于 2024-10-01 18:26:22 发布
最新推荐文章于 2024-10-01 18:26:22 发布
阅读量5.6k 收藏 17
点赞数 5
文章标签： 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42881308/article/details/137110873
版权

Ollama 可以在本地运行任何开源大模型 只要下载到 GGUF 文件（相当于压缩的大模型）

**
1、下载 GGUF --》Hugging Face 里搜索下载 （baichuan gguf、qwen gguf）

2、下载文件到本地后 然后在同目录创建一个 txt 文建
文件类容的意思：告诉Ollama 去哪里找到文件

3、打开ollama 终端输入：ollama create baichuan2-7b -f Modelflie.txt
创建一个新的模型文件 名字 【baichuan2-7b】 使用 读取 Modelflie.txt 文件

qq_42881308
关注
【ai】如何在ollama中随意使用hugging face上的gguf开源模型
每日出拳老爷子的博客
06-18 1295
ollama的pull命令可以直接pull ollama列表中现有的模型，但是ollama可以直接pull的模型大都是英语偏好（llama2有直接可以pull的chinese版本），而hugging face上则有大量多语种训练的模型，如果能直接使用hugging face上的gguf开源模型，那就自由多了，本篇介绍方法。
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)
Mystra
08-08 2559
Ollama 是用于构建和运行大型语言模型(LLM)应用的开源工具，提供了一个简洁易用的命令行界面和服务器，让用户能够轻松下载、运行和管理各种开源 LLM，默认支持大量模型，如果是 HuggingFace 最新模型，或者自制模型，支持转换成 GGUF 格式，再进行调用。
ollama实战(二): gguf 格式部署及转换方式（llamacpp）
最新发布
yierbubu1212的博客
10-01 636
对于gguf格式（加载快），使用llamacpp进行量化，适合自己微调的模型量化后或者格式转化后再使用ollama部署。
ollama 跑gguf
dannisklx的专栏
07-29 440
创建一个名为Modelfile的文件，并在其中添加FROM指令，指定要导入的模型的本地文件路径。在Ollama中创建模型。
Ollama+GGUF离线加载本地模型
danielxinhj的博客
07-30 2340
一般在使用Ollama下载模型时，都是从官方仓库下载（使用，但一些环境下，受限于网速等原因使用这种方式可能会非常慢甚至无法下载，所以我们可以选择使用上的文件，在Ollama仓库里的模型都可以在Huggingface上找到，因此我们可以使用Ollama+GGUF文件离线加载模型。
Ollama通过gguf文件加载AI模型
2201_75335496的博客
08-23 1259
通过ollama与gguf文件可以在电脑上运行一个属于自己的离线AI模型，比闭源模型更可以保护隐私信息不被泄露。另外，在自己的电脑上集成AI模型可以随时随地使用，不被网络环境限制
使用Ollama配置本地微调的gguf模型文件
weixin_43217276的博客
07-30 1615
在之前的文章中，我们已经得到了经过我们微调的大语言模型，不管是在本地部署使用或者是用OpenWebUI界面部署在服务器上达到和chatGPT界面类似的效果，使用Ollama部署一定是最好的选择。以下均为在Ubuntu系统（Linux）上的测试。
Ollama怎么启动.gguf 大模型
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
07-29 1156
Llama3-8B。
【LLM大模型】Ollama 运行 GGUF 模型
2301_81888214的博客
09-29 766
【LLM大模型】Ollama 运行 GGUF 模型
Ollama加载gguf模型
leo0308的博客
08-02 931
在 https://huggingface.co/models 上搜索对应模型的gguf文件下载即可。如 Qwen/Qwen2-0.5B-Instruct-GGUF。文件格式没要求， 用简单的txt文件就行。
ollama 开源大语言模型平台
汽车软件开发
04-18 2008
环境准备：首先，需要提前安装Ollama框架。这是使用Ollama进行模型开发的基础条件38。下载模型：接着，需要下载需要自定义的大语言模型。这一步骤是必要的，因为只有拥有了模型的本地副本，才能对其进行进一步的自定义操作38。运行模型：确保能够成功运行已下载的大语言模型。这意味着需要具备一定的技术能力或知识，以确保模型能够在本地环境中正常运行38。准备system prompt：为了与模型进行交互，需要提前准备一段system prompt。这个提示将指导模型如何响应用户的请求或指令38。
开源大模型的格式转成GGUF，并量化后使用ollama推理
人工智能
07-27 1115
开源大模型的格式转成GGUF，并量化后使用ollama推理 使用到的工具：llama.cppollama。
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
热门推荐
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
基于ollama和CPU运行本地gguf量化模型
gallonyin的博客
04-10 2780
本文先以Windows电脑运行为例，Linux同理本案运行配置：Win11/CPU i5/RAM 32G （实际运行使用约占用10G）假设你已经下载好了需要的xxx.gguf模型文件，本案：下载地址：https://huggingface.co/TheBloke/WizardCoder-Python-13B-V1.0-GGUF。
ollama运行自定义模型
勇往直前！
04-24 3683
GGUF(Georgi Gerganov Unifed Format)是llama.cpp提出的一种格式标准，用于储存模型的tokenizer & weight & vocab & hyparameters，其表现形式为一个二进制文件，例如gml-model-f16.gguf。ollama 可以直接加载gguf文件后缀的模型这些模型，你可以通过下面两个站点搜索即可。ollama有默认的模型，那么怎么运行自定义模型，自己选择下载模型，然后运行呢。运行你的模型： ollama run [xxxname]即可。
ollama 导入GGUF模型文件
炼丹炉里有煤灰
05-13 4297
1：创建一个文本文件，建议改名为模型名，扩展名为Modelfile。比如你下载的模型文件名是llama-8b.gguf，那这个文件名就叫llama-8b.modelfile。打开ui交互界面，看看模型选择，也有了。3： 在命令行中执行指令转换模型。完成转换的模型会提示success。
使用ollama导出gguf模型
weixin_37841024的博客
04-25 1198
导出的qwen_7b.gguf模型文件，在命令执行的目录。（格式为gguf），导出代码为。为例，先查看模型信息，从模型文件信息里得知。
ollama把huggingface下载下来的模型转换为gguf
abments的博客
05-16 3583
ollama把huggingface下载下来的模型转换为gguf
开源大模型和混元大模型的区别
11-21
根据引用和引用的描述，开源大模型和混元大模型的区别如下： 1. 开源大模型：指的是模型的参数量非常大，但是模型的训练和预测代码是公开的，可以供大家使用和修改。例如BERT、GPT-2等模型都是开源的，可以在GitHub上找到它们的代码和预训练模型。 2. 混元大模型：指的是模型的参数量非常大，但是模型的训练和预测代码是私有的，只有少数公司或组织可以使用和修改。例如GPT-3和Switch Transformer等模型都是混元大模型，只有少数公司可以使用它们的预训练模型。 总的来说，开源大模型和混元大模型的区别在于代码的开放程度。开源大模型的代码是公开的，可以供大家使用和修改，而混元大模型的代码是私有的，只有少数公司可以使用和修改。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值