10、ollama启动LLama_Factory微调大模型（llama.cpp）

最新推荐文章于 2025-03-28 14:08:03 发布

Andy_shenzl

最新推荐文章于 2025-03-28 14:08:03 发布

阅读量2.9k

点赞数 25

分类专栏：大模型学习文章标签： ollama LLama_Factory llama.cpp 大模型微调

本文链接：https://blog.csdn.net/Andy_shenzl/article/details/141709811

版权

大模型学习专栏收录该内容

23 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

在前面章节中介绍了如何使用LLama_Factory微调大模型，并将微调后的模型文件合并导出，本节我们我们看下如何使用ollama进行调用。

1、llama.cpp

LLama_Factory训练好的模型，ollama不能直接使用，需要转换一下格式，我们按照ollama官网的提示使用llama.cpp来进行实现。
在这里插入图片描述

1.1 安装llama.cpp

下载 llama.cpp

git clone https://github.com/ggerganov/llama.cpp.git


cd llama.cpp


# 安裝 Python 相依套件
pip install

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Andy_shenzl

关注关注

25
点赞
踩
25

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Ollama 在本地快速启动并执行LLM【大语言模型】

penriver的博客

03-19

2530

Ollama 让你快速的在本地部署、启动并执行大语言模型 Ollama makes it easy to get up and running with large language models locally. Get up and running with Llama 2, Mistral, Gemma, and other large language models.

llama_factory微调QWen1.5

liguandong

04-15

3338

我们开源了包括0.5B、1.8B、4B、7B、14B和72B共计6个不同规模的Base和Chat模型，, 以及一个MoE模型（点击博客了解详情），并同步放出了各尺寸模型对应的量化模型。请访问here开始使用，我们建议您试用Qwen1.5-72B-chat。模型效果为了全面洞悉 Qwen1.5 的效果表现，我们对 Base 和 Chat 模型在一系列基础及扩展能力上进行了详尽评估，包括如语言理解、代码、推理等在内的基础能力，多语言能力，人类偏好对齐能力，智能体能力，检索增强生成能力（RAG）等。

1 条评论您还未登录，请先登录后发表或查看评论

使用LLaMA-Factory训练LLM大模型并用ollama调用，一文教会你！！！

bugyinyin的博客

10-26

2421

需要Nvidia显卡，至少8G显存，且专用显存与共享显存之和大于20G 建议将非安装版的环境文件都放到非系统盘，方便重装或移植以Windows11为例，非安装环境文件都放在 E 盘下

Llama factory微调后的模型怎么通过ollama发布

qysh123的专栏

03-09

1007

这样的命令就能生成ollama中的模型，但是经过我测试发现，如果modelfile里只有一行，生成的模型可能会出现答非所问的情况。顾名思义，就是把huggingface类的文件转成gguf。把Lora模块和其基模型merge到一起之后，就可以通过ollama之类的框架提供服务了。就可以生成一个名为qwen2.5:7bwhole的微调之后qwen2.5 7B的模型了。

llama-factory ||启智平台

失眠的树的博客

03-02

424

【代码】llama-factory。

LlamaFactory Lora 合并大模型,GGUF 转换与 Ollama 部署Open_WebUI全流程

weixin_42745482的博客

01-23

1858

使用ollama create命令创建自定义模型```![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/1c17d68d882e47ab9c6ab056bdda6e00.png)## 3.5 运行模型。

Llama-Factory + Ollama 打造属于自己的中文版 Llama3

hyang1974的博客

05-05

9165

Meta Llama3发布已经有一小段时间了。和以往的原始 Llama 模型一样，Llama 3 对中文的支持效果欠佳。本文则探讨如何使用 Llama-Factory 对 Llama3 进行中文微调的具体过程，并通过 Ollama 本地部署中文微调的 Llama3 模型，打造属于自己的个性化的 Llama3 LLM 。

LLama-factory大模型微调、ollama导入微调模型

qq_45672807的博客

09-11

718

Ubuntu下直接删除 ~/.config/dconf/user文件夹与 ~/.config/navicat文件夹。1.1 创建一个文本文件，并改名为模型名，扩展名为Modelfile。例如，llama3-8b.modelfile。合并后的模型格式为.safetensors，使用llama.cpp转换成gguf格式。1.2 用记事本编辑器打开文件，并添加内容。得到gguf格式后导入ollama。1、编码Modelfile文件。进入llama.cpp中。2、ollama创建模型。模型的微调、推理和合并。

llama factory安装与启动

weixin_41860665的博客

08-10

347

基础环境：Ubuntu 22.04.1 LTS \n \l安装命令：登录后复制 git clone https://github.com/hiyouga/LLaMA-Factory.git conda create -n llama_factory python=3.10 conda activate llama_fac...

【LLM大模型】谷歌AI杰玛Gemma大模型开源了！附2个本地部署安装教程和实例

pythonhy的博客

08-07

1333

Gemma 是一个轻量级、先进的开放模型系列，采用与创建 Gemini 模型相同的研究和技术构建而成。Gemma 由 Google DeepMind 和 Google 的其他团队开发，以拉丁语 gemma（意为“宝石”）命名，中文名杰玛。Gemma 模型权重由促进创新、协作和负责任地使用人工智能 (AI) 的开发者工具提供支持。

ollama启动大模型服务、杀死大模型服务

Cheny的博客

02-07

586

ollama运行大模型

启动ollama服务并启动docker

qq_43679365的博客

10-25

8092

解决方案：任务管理器杀掉当前的ollama进程，以及开机自启动ollama.exe这个服务要禁止开机自启动，这样处理之后再次ollama serve就可以启动ollama服务了。右键桌面Docker图标，使用管理员方式运行docker就可以打开docker。这样一来后面再MaxKB里面配置好模型之后调用，就可以看到这边的日志。打开命令行输入ollama serve进行服务的启动。二、 docker的服务启动。如果遇到问题说有端口冲突。Docker的一些配置。

用GGUF和Llama.cpp量化Llama模型

wangyifan123456zz的博客

02-26

5215

GGML是一个专注于机器学习的C语言库。它是由Georgi Gerganov创建的，这是GG的首字母缩写。这个库不仅提供了机器学习的基本元素，如张量，而且还提供了一种独特的二进制格式来分发llm。该格式最近更改为GGUF。这种新格式被设计为可扩展的，因此新特性不会破坏与现有模型的兼容性。它还将所有元数据集中在一个文件中，例如特殊 tokens、RoPE缩放参数等。简而言之，它解决了历史上的一些痛点，而且应该经得起未来的考验。欲了解更多信息，您可以在此地址阅读规范。

llama.cpp 和 Ollama 的对比

热门推荐

spiderwower的博客

05-12

4万+

微调大模型的方法，这里不展开说，我使用的lora微调方法。微调大模型需要比较高的显存，推荐在云服务器上进行训练，系统环境为linux。

ollama和llama.cpp区别

2406_89088214的博客

02-21

545

两者本质是互补关系：llama.cpp 提供底层推理能力，Ollama 在其基础上构建易用性。若追求极致控制选前者，注重效率与便捷性选后者。更多技术细节可参考来源。

本地部署大模型Ollama —— 在本地启动并运行大语言模型

Y525698136的博客

11-16

1594

Ollama 是一款命令行工具，可在 macOS 、 Linux 、Windows 上本地运行 Llama 2、Code Llama 、Gemma 等模型。

Ollama 入门指南：启动、停止与查看模型的完整教程

一起coding，一起嗨。

02-25

9875

Ollama 入门指南：启动、停止与查看模型的完整教程

llamafactory微调 ollama

02-03

### 如何对LLaMA-Factory模型进行微调以适应Ollama #### 准备工作环境为了能够顺利地对Llama Factory中的模型进行微调以便后续应用于Ollama平台，首先需要确保已经成功安装了`llama.cpp`以及克隆了`LLaMA-Factory`仓库。这一步骤至关重要，因为这些工具提供了必要的接口和支持来处理和调整预训练的语言模型。 ```bash git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory ``` #### 数据准备与格式化对于想要用来微调的自定义数据集而言，应当遵循特定的数据结构要求。通常情况下，这意味着要将文本文件整理成适合输入给定框架的形式——例如JSON Lines (jsonl)，其中每一行代表一条独立记录[^3]。 #### 配置微调参数在执行实际的微调之前，还需要设置一些重要的超参数选项，比如学习率、批次大小等。可以通过修改配置文件或者命令行参数的方式来完成这项任务。具体的数值取决于所使用的硬件资源和个人偏好，但官方文档或社区讨论往往能提供合理的默认建议作为起点[^4]。 #### 执行微调过程一旦前期准备工作就绪，则可以启动微调流程： ```bash python train.py \ --model-name "path/to/base/model" \ --data-path "/path/to/prepared/dataset.jsonl" \ --output-dir "./outputs" ``` 这里假设使用的是Python脚本形式；不同版本之间可能存在差异，请参照具体项目的最新指南操作。 #### 转换为OLLAMA兼容格式当微调完成后得到的新版权重并不能直接被Ollama识别利用，因此最后还需借助诸如`llama.cpp`这样的辅助程序将其转化为目标平台上可加载的状态。这一环节的具体做法会依据当前系统的架构而有所不同，在某些情形下可能涉及编译步骤或是其他额外依赖项的引入[^2]。通过上述几个方面的介绍可以看出，整个过程中既包含了技术性的编码实践也涉及到细致入微的操作细节管理。希望以上信息可以帮助到正在探索这条路径的朋友。