使用Ollama配置本地微调的gguf模型文件

ikinono

已于 2024-07-30 13:06:22 修改

阅读量3.4k

点赞数 15

文章标签： ai

于 2024-07-30 11:26:06 首次发布

本文链接：https://blog.csdn.net/weixin_43217276/article/details/140790668

版权

在之前的文章中，我们已经得到了经过我们微调的大语言模型，不管是在本地部署使用或者是用OpenWebUI界面部署在服务器上达到和chatGPT界面类似的效果，使用Ollama部署一定是最好的选择。以下均为在Ubuntu系统（Linux）上的测试。

如果需要在Windows上部署可以查看Ollama的官方文档：

https://github.com/ollama/ollama

一、安装Ollama

Linux安装Ollama命令行：

curl -fsSL https://ollama.com/install.sh | sh

安装不了你可以直接进入网页：https://ollama.com/install.sh，直接看到代码，复制下来创建install.sh放进去用sh install.sh 跑一下应该也行。

尝试跑一个开源模型测试一下是否成功运行，模型会自动下载开源大模型Ollama支持十几个不同参数量常用的开源大语言模型，这一步可以忽略：

ollama run llama3.1

在对话框输入/help查看对话可用指令，输入/bye退出对话模式。

二、准备工作

首先我们要新建一个文件夹创建.modelfile文件并将模型文件也放入其中，两

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ikinono

关注关注

15
点赞
踩
29

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【ai】如何在ollama中随意使用hugging face上的gguf开源模型

每日出拳老爷子的博客

06-18

2731

ollama的pull命令可以直接pull ollama列表中现有的模型，但是ollama可以直接pull的模型大都是英语偏好（llama2有直接可以pull的chinese版本），而hugging face上则有大量多语种训练的模型，如果能直接使用hugging face上的gguf开源模型，那就自由多了，本篇介绍方法。

微调模型导入ollama

weixin_47249499的博客

01-08

698

找到服务器上已经下载的qwen2.5模型，然后导出Modelfile文件。1.llama.cpp程序下载及环境配置。2.制作新的Modelfile。1.旧Modelfile导出。将对应行改为gguf文件位置。3.导入ollama。

1 条评论您还未登录，请先登录后发表或查看评论

Ollama 运行从 ModelScope 下载的 GGUF 格式的模型(DeepSeek 为例)

01-29

4591

Windows 10。

在ubuntu如何使用ollama部署自己微调模型的服务

qq603288332的博客

08-01

607

看了很多的博客，基本都是把官方文档例子，只是启动已有模型的方法。。。。。随后看了文档之后，成功点亮自己的服务！（乱码可以忽略。。。。

本地化部署：Ollama 运行 GGUF 模型（附教程）

热门推荐

u010522887的专栏

07-24

3万+

Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。

使用ollama本地部署微调后的大语言模型

琴智冰

01-21

1554

在使用LlaMA-Factory导出的模型时，由于其输出格式与Ollama所需的格式不一致，需要借助llama.cpp的工具将模型转换为GGUF格式，以便在Ollama中使用。Ollama是一款开源的本地大语言模型推理工具，支持对LLM模型进行管理、训练和推理，并提供了WebUI界面和客户端API。

【LLM大模型】Ollama 运行 GGUF 模型

2301_81888214的博客

09-29

3055

【LLM大模型】Ollama 运行 GGUF 模型

如何让本地GGUF模型通过Ollama进行管理和推理

weixin_41338279的博客

10-09

1251

并在其中添加FROM指令，用于指定要导入的模型的本地文件路径（下面的例子用的是相对路径），其他内容可参考ollama library已有模型的modelfile。Ollama 除了通过从支持模型列表中 pull 的下载模型方式，也支持手动导入GGUF模型。文件，和将项目打包成docker image的过程有点类似。的Modelfile中的内容如下。内容的创建可以参考通过。命令拉取的模型对应的。

Ollama 部署本地大语言模型

小橙子的博客

02-07

1683

打开“控制面板” -> “系统和安全” -> “Windows Defender 防火墙”，点击“高级设置”，在“入站规则”中创建一条新的规则，允许 TCP 端口。这是Ollama命令行工具的帮助信息，它列出了所有可用的命令和标志，以及如何使用它们。run命令运行存在的模型就是打开，不存在的模型，就是先下载再打开。在“环境变量”窗口中，找到“系统变量”部分，点击“新建”按钮。右键点击桌面上的“此电脑”或“计算机”图标，选择“属性”。在系统属性窗口中，点击左侧的“高级系统设置”按钮。

ollama 导入GGUF模型文件

失业求捞！

05-13

1万+

1：创建一个文本文件，建议改名为模型名，扩展名为Modelfile。比如你下载的模型文件名是llama-8b.gguf，那这个文件名就叫llama-8b.modelfile。打开ui交互界面，看看模型选择，也有了。3：在命令行中执行指令转换模型。完成转换的模型会提示success。

记OLLAMA加载本地GGUF模型（windows环境+modelscope下载Qwen2.5-0.5B模型）

qq_38737204的博客

10-23

5640

OLLAMA报错网络原因无法下载模型，使用modelscope下载gguf模型后再运行的记录。

第二十七篇-Ollama-加载本地模型文件

木卫二号的专栏

04-27

2万+

可以查看已有下载的modlefile文件内容。等等一段时间会提示完成。

Ollama怎么启动.gguf 大模型

本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。

07-29

2247

Llama3-8B。

ollama部署本地大模型

西敏寺的乐章的博客

06-18

2755

本地运行大模型的工具，可以运行Llama 3、Phi 3、Mistral、Gemma和其他型号。定制并创建您自己的型号。

ollama大模型微调

02-04

### 对Ollama大模型进行微调的方法对于希望对 Ollama 大型语言模型 (LLM) 进行微调的情况，通常需要遵循特定的工作流程来确保调整后的模型能够更好地适应具体应用场景的需求。此过程涉及准备数据集、配置训练环境以及执行实际的微调操作。 #### 准备高质量的数据集为了有效提升模型性能，在开始之前应当收集并整理一批针对性强且质量高的领域内语料作为训练素材[^1]。这些数据应该经过清洗处理去除噪声，并按照一定格式组织起来以便后续使用。 #### 配置合适的硬件资源鉴于大型预训练模型参数量巨大，因此建议采用具备强大计算能力的 GPU 或 TPU 设备来进行加速运算。此外还需要考虑内存容量等因素以支持整个训练过程中所需的各项资源消耗。 #### 使用OLLAMA框架完成微调当一切就绪之后就可以利用 Ollama 提供的相关工具和技术栈开展具体的微调工作了： - **安装依赖库**：依据官方文档指导安装必要的 Python 库和其他软件包； - **加载基础模型**：通过指定路径读取已有的 LLM 模型文件（如 gguf 文件），这一步骤可以借助 ollama 所给出的具体命令实现； - **定义优化目标函数**：根据业务需求设定损失函数形式及其权重系数等超参设置； - **编写自定义方法 `askLocalEchartsModel`**： ```python def askLocalEchartsModel(prompt): """ 向本地微调过的 Echarts 模型发起请求参数: prompt (str): 用户输入的问题或指令返回: str: 模型生成的回答内容 """ model = "path/to/microtuned_model" # 微调后保存的位置 response = ollama_api.query(model=model, input=prompt) return response['output'] ``` 上述代码片段展示了如何创建一个名为 `askLocalEchartsModel` 的函数用于向已经过微调处理的 Echarts 版本提问[^2]。 #### 记录实验日志与评估效果在整个开发周期里持续记录下每次迭代产生的变化情况非常重要，这样有助于分析不同版本间的表现差异从而做出更合理的改进决策。同时也要定期测试新旧两版之间针对相同任务场景下的输出准确性对比，以此衡量当前所做的努力是否达到了预期目的。