通过ollama（modelfile）微调deepseek，制作自己的大模型

已于 2025-02-09 16:56:54 修改
阅读量1w 收藏 61
点赞数 45
分类专栏： 学习笔记 文章标签： 服务器 运维 ai 语言模型 学习 deep learning
于 2025-02-09 16:15:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57843813/article/details/145532972
版权

Ollama 是一个开源的大型语言模型（LLM）平台，旨在让用户能够轻松地在本地运行、管理和与大型语言模型进行交互。

这个是之前发过的博文，ollama的基础使用

本地部署deepseek （ollama简单使用方法,含网盘下载链接）-CSDN博客

ollama下载网盘链接（访问密码：7360）

https://url57.ctfile.com/f/45223957-1454403034-07c955?p=7360

deepseek现在是非常火爆，相信大家应该也都尝试本地部署了。部署完之后，想要开源模型有更高的定制化，该怎么办呢？这下可以用到ollmam终端modelfile。

操作方法：

首先可以先执行指令查看模型的modelfile的信息（以deepseek-r1:1.5为例）
ollama show deepseek-r1:1.5b --modelfile
 如图，图片上半部分上面给出了modelfile的模板，下半部分LICENSE是许可证信息。 

我们在D盘根目录下下创建名为Modelfile的空白文件

接下来就是在空白文件内写配置信息 （用记事本就可以）
下面这个是我写的一个示例模板
FROM deepseek-r1:1.5b
TEMPLATE """[INST] <>{
  
  { .System }}<>

{
  
  { .Prompt }} [/INST]
"""
PARAMETER temperature 0.7
PARAMETER top_k 60
PARAMETER top_p 0.5
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<>"
PARAMETER stop "<>"
SYSTEM """
你的名字叫鹤年同学，专精编程领域解决问题。
"""
  • FROM：指定使用 DeepSeek-r1:1.5b 版本。
  • TEMPLAT：定义了生成文本的模板格式。（便于下面定义SYSTEM）
  • [INST] <>{ { .System }}<>：这部分表示在生成的文本开头插入一个 [INST] 标记，然后插入系统指令（.System），最后插入一个 <> 分隔符。

  • { { .Prompt }} [/INST]：这部分表示插入用户提供的提示（.Prompt），并在结尾插入一个 [/INST] 标记。

  • temperature： 含义：控制生成文本的随机性。 值：0.7，表示生成的文本有一定的随机性，但不会过于离谱。

  • top_k： 含义：在生成文本时，只从概率最高的 k 个词中选择下一个词。 值：60，表示从概率最高的 60 个词中选择下一个词。

  • top_p： 含义：在生成文本时，只从累积概率达到 p 的词中选择下一个词。 值：0.5，表示从累积概率达到 50% 的词中选择下一个词。

  • PARAMETER stop ：定义了生成文本时的停止标记。

  • [INST] 和 [/INST]：这两个标记用于指示指令的开始和结束。

  • <>：这个标记可能用于分隔不同的部分或表示结束。

  • SYSTEM：定义了系统指令，用于设置模型的初始行为和角色.

 写完之后，打开cmd 进入D盘生成我们的模型。（demo换为你要起的名字）
输入下面指令：
D：

ollama create demo -f Modelfile

创建完成之后我们查询一下模型列表验证一下
ollama list
有我们创建的模型就是成功了
运行模型 ollama run demo 进行模型测试，可以看到我们定义初始行为和角色的效果达到了。

接下来就可以进行愉快的对话了！！！

最后如果需要删除模型可以运行rm指令（demo替换为要删除的模型）

ollama rm demo

这次分享就到这里了！如果文章存在什么错误，欢迎各位大佬指正！！

『大模型笔记』Ollama ModelFile(模型文件)
AI新视界
03-05 6111
Ollama ModelFile(模型文件)
DeepSeek 微调变得简单：使用 Python 创建自定义 AI 模型 学习针对所有用例微调 DeepSeek R1 模型
iCloudEnd的博客
02-03 1938
当每个人都竞相在 ChatGPT 上构建应用程序时，精明的开发人员正在悄悄发现 DeepSeek-R1 的微调功能，这是一颗隐藏的宝石，可以将通用人工智能转变为专业的数字专家。通过本文，您将了解如何将通用的 DeepSeek R1 模型转变为专门的、特定领域的 LLM。
使用Ollama本地部署deepseek，并定制Modelfile里的prompt生成自己的模型
mengweicat的博客
02-07 3440
想要退出对话可以按Ctrl + d，查看所有部署的模型可输入ollama list ，想要删除部署的模型可以输入ollama rm 模型名。输入ollama show --modelfile deepseek-r1:1.5b，可查看当前模型的modelfile。第一次使用要下载，需等待一段时间。根据电脑性能选择一个能安装的版本，这里以最小的1.5b为例，复制指令。现在输入ollama list，可以看到定制的新模型example。4、打开一个终端，输入刚才复制的指令并回车运行。2、下载后进行安装并打开。
使用LoRA微调qwen模型优化模型推理效果
10-12
资源包含数据集文件、训练环境搭建教程、LoRA微调python代码，适用于初学者初步学习LoRA微调步骤和框架搭建
Ollama实战：手把手教你本地微调+部署AI大模型
最新发布
lvaolan的博客
04-07 773
llama：LLaMA（Large Language Model Meta AI）是由 Meta（原Facebook公司）发布的一系列大型语言模型。这些模型旨在处理和生成自然语言文本，能够执行多种任务，如文本摘要、翻译、问答、文本生成等。LLaMA 模型因其高效的性能和较小的模型尺寸而受到关注，这使得它们能够在资源有限的环境中运行，例如个人计算机或移动设备。Ollama：是一个开源的大型语言模型服务工具，由 Meta发布。前排提示，文末有大模型AGI-CSDN独家资料包哦！
ollama配置modelfile
sealong99的博客
02-11 3529
首先我们要新建一个文件夹创建.modelfile文件并将模型文件也放入其中，两者最好名字相同避免混乱。这是我个人认为比较重要的几个参数，如果想知道全部参数，可以去modelfile官方文档看一下（
【Deepseek】如何本地部署属于自己定制化的deepseek模型
Ree的博客
02-25 1553
本地部署deepseek，并定制化角色
deepseek 本地化部署和小模型微调
热门推荐
陈锐的技术笔记
02-03 1万+
因为本人gpu卡的机器系统是centos 7, 直接使用ollama会报所以ollama使用镜像方式进行部署， 拉取镜像ollama/ollama启动命令查看ollama 是否启动成功，Ollama 没有用户界面，在后台运行。打开浏览器，输入 “http://xx:11434/”，显示 “Ollama is running”。deepseek-r1 目前有7b, 32b, 70b, 671b 多个版本
DeepSeek本地化部署全攻略，轻松拥有专属 AI 助手
zhishi0000的博客
02-06 8621
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。2.页面下拉，根据自己电脑的配置选择合适的参数规模（7b 代表 70 亿参数，14b 代表 140 亿参数，参数越多，模型越大，效果理论上也会更好，但对电脑配置要求也更高），然后复制对应的下载命令。观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
ollama 部署自己微调过的模型
kjzd123的博客
06-06 6419
本指南将介绍如何在 Ollama 中导入 GGUF、PyTorch 或 Safetensors 模型。
Ollama ModelFile(模型文件)
sre救赎之路
02-18 2778
创建一个文本文件（如。
【人工智能】大模型微调实战：基于 Ollama 定制 DeepSeek 模型的完整指南
一个被知识诅咒的人
03-20 1500
大语言模型（LLM）的微调是提升其特定任务性能的关键步骤。本文以开源工具 Ollama 为基础，详细剖析如何在本地环境中对 DeepSeek 模型进行微调，涵盖环境搭建、数据准备、模型配置和微调实践的全流程。通过丰富的代码示例（如数据集预处理、Modelfile 定制和 API 调用）和中文注释，读者可轻松复现微调过程。文章还探讨了微调中的数学原理（如损失函数优化）和性能评估方法，并提供硬件需求分析与优化建议。无论是提升模型在特定领域的问答能力，还是定制个性化应用，本文旨在为开发者提供从零到一的实战指南，帮
在本地使用 Ollama 部署 Deepseek Coder R1 大模型
02-11
此外，为了满足一些用户对模型进行微调或修改行为的需求，Ollama 支持通过创建 Modelfile 来自定义模型的配置参数。 除了基础的命令行交互方式，Ollama 还支持运行在 Web 界面，通过与 OpenWebUI 的结合，提供类似 ...
【人工智能】Ollama 的 Modelfile 定制：打造专属 DeepSeek 模型的步骤
一个被知识诅咒的人
04-02 779
Ollama 作为一个轻量级的大模型运行平台，以其简洁性和高效性受到开发者青睐。本文深入探讨如何通过 Ollama 的 Modelfile 定制功能，基于 DeepSeek 模型打造专属的语言模型。文章从 Modelfile 的基本语法入手，详细解析如何调整模型参数、注入系统提示、加载外部数据集以及优化推理性能。通过大量代码示例（如 Python 和 Shell 脚本），结合中文注释，展示了从模型下载、定制到部署的全流程。此外，针对关键步骤涉及的数学公式（如注意力机制和损失函数），采用 LaTeX 表示以增
LlamaFactory可视化模型微调-Deepseek模型微调+CUDA Toolkit+cuDNN安装
寓教于乐。教己助人
02-15 4111
进行指令监督微调时， instruction 列对应的内容会与 input 列对应的内容拼接后作为最终的人类输入，即人类输入为 instruction\ninput。而 output 列对应的内容为模型回答。如果您对模型效果满意并需要导出模型，您可以在导出界面通过指定 模型、 适配器、 分块大小、 导出量化等级及校准数据集、 导出设备、 导出目录 等参数后点击 导出 按钮导出模型。instruction 列对应的内容为人类指令， input 列对应的内容为人类输入， output 列对应的内容为模型回答。
Ollama Modelfile 配置示例：基于本地模型文件构建模型及多模型合并
学亮编程手记
02-14 2560
Modelfile 是用于定义和构建自定义模型的配置文件，支持从基础模型、参数调整、系统提示到多模型融合等多种功能。
本地部署大模型？Ollama 部署和实战，看这篇就够了！
xiangxueerfei的博客
03-07 4103
Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。也许是目前最便捷的大模型部署和运行工具，配合Open WebUI，人人都可以拥有大模型自由。今天，就带着大家实操一番，从 0 到 1 玩转 Ollama。
使用 Ollama 对 LLaMA-2 模型进行微调的详细指南
03-11 1145
Ollama 提供了 Modelfile 配置文件，允许用户通过调整参数（如top_ktop_p等）来微调模型，而无需重新训练。这种方法适用于快速调整模型的生成行为，而不需要进行复杂的训练过程。
Ollama Modelfile官方文档(最新)
Chaos_Happy
04-28 1万+
Ollama的Modelfile文档翻译
使用ollama，Anaconda 二个工具微调deepseek模型方法
03-01
<think>好的，用户想了解如何使用Ollama和Anaconda这两个工具来微调DeepSeek模型。首先，我需要确认自己对这两个工具的理解是否正确。 Ollama是一个用于本地运行和部署大型语言模型的工具，支持多种模型，包括Llama、Mistral等。而Anaconda是Python的环境管理工具，常用于管理依赖和虚拟环境。微调模型通常需要准备数据集、调整参数、训练和评估这些步骤。 接下来，我需要考虑用户可能的需求。用户可能已经有一定的技术背景，想在自己的机器上微调DeepSeek模型，但可能对具体步骤不太清楚。需要分步骤说明，确保每个环节都清晰。 首先，安装Ollama和Anaconda是基础步骤。Ollama的安装比较简单，官网提供了不同系统的安装命令。Anaconda的安装也是常规流程，安装后需要创建虚拟环境，避免依赖冲突。 然后，准备微调数据。用户可能需要指导如何格式化数据集，比如使用JSON文件，并给出示例结构。这部分需要具体，让用户知道数据应该包含指令和回复。 接下来是模型下载。Ollama支持直接拉取模型，但DeepSeek可能需要特定的模型文件，比如gguf格式。需要确认DeepSeek是否有现成的模型可供Ollama使用，或者是否需要转换。如果用户需要转换，可能需要使用llama.cpp等工具，但这里可能需要简化步骤，避免用户困惑。 然后是微调部分。使用Transformers库和Peft库进行参数高效微调。需要提到加载模型、准备训练参数、使用Trainer进行训练。这里需要确保代码示例正确，比如模型名称、数据集路径等是否正确替换。 保存和合并模型是后续步骤，需要指导用户如何保存适配器并合并到基础模型中，以便后续使用。 最后，使用Ollama部署微调后的模型。需要说明如何创建Modelfile，并加载合并后的模型文件。可能遇到的问题，比如模型格式是否兼容Ollama，需要提醒用户注意。 可能的误区包括：Ollama是否直接支持微调后的模型，或者是否需要转换为支持的格式。此外，数据集的准备可能需要更多细节，比如数据清洗和格式转换工具。用户可能没有GPU资源，需要提到是否可以使用CPU训练，但可能会很慢。 需要验证步骤是否正确，比如检查Ollama的模型加载是否成功，训练过程中的损失是否下降。此外，提醒用户根据任务调整超参数，比如学习率、训练轮数等。 总结来说，步骤分为环境准备、数据准备、模型下载、微调、部署。需要确保每个步骤的指令准确，并给出示例代码，帮助用户逐步操作。同时，指出可能的注意事项，比如资源要求、模型兼容性等，确保用户能够顺利执行。</think>以下是使用Ollama和Anaconda微调DeepSeek模型的简明指南（分步说明）： ------------------- ### 一、环境准备 1. **安装Ollama** ```bash curl -fsSL https://ollama.com/install.sh | sh ``` 2. **配置Anaconda环境** ```bash conda create -n deepseek_fine_tune python=3.10 conda activate deepseek_fine_tune pip install transformers datasets peft accelerate ``` ------------------- ### 二、数据准备（示例） 创建`dataset.json`文件： ```json [ {"instruction": "解释量子纠缠", "input": "", "output": "量子纠缠是指..."}, {"instruction": "写一首春天的诗", "input": "要求押韵", "output": "春风拂面桃花笑..."} ] ``` ------------------- ### 三、模型获取 ```bash ollama pull deepseek-7b # 根据实际模型名称调整 ``` ------------------- ### 四、微调实现（关键代码） ```python from transformers import AutoModelForCausalLM, TrainingArguments, Trainer model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-7b") trainer = Trainer( model=model, args=TrainingArguments( output_dir="./results", per_device_train_batch_size=4, num_train_epochs=3, learning_rate=2e-5 ), train_dataset=load_dataset("json", data_files="dataset.json")["train"] ) trainer.train() ``` ------------------- ### 五、模型部署 1. 创建`Modelfile`： ```dockerfile FROM ./merged_model PARAMETER num_ctx 4096 ``` 2. 部署模型： ```bash ollama create my-deepseek -f Modelfile ollama run my-deepseek ``` ------------------- ### 注意事项 1. **硬件要求**：建议至少16GB显存（如RTX 3090） 2. **量化选择**：内存不足时可尝试`ollama pull deepseek-7b:q4_0` 3. **数据质量**：训练数据需保持500-1000条高质量样本 4. **参数调优**：初始学习率建议2e-5~5e-5，batch_size根据显存调整 完整流程约需1-3小时（取决于数据集大小），建议先用小样本测试后再进行全量训练。训练完成后可通过`ollama list`验证模型加载状态。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值