DeepSeek LoRA微调+Ollama，微调模型本地部署终极指南！

最近deepseek非常火爆，在学习对deepseek进行微调训练后，尝试把模型部署到本地。以下记录下怎么保存模型以及怎么载入Ollama的过程。

模型保存

我使用的Transformers 的 trainer 进行的训练。

在配置TrainingArguments 的 output_dir 以及save_steps后我以为会自动根据相关参数进行保存，但当我使用相应的checkpoint的时候并未调用成功，具体什么原因还没搞清楚。

所以要trainer.save_model 确保模型保存成功。并且可以把训练的模型状态保存下来，下次调用可以更快。

trainer.train()

#进行模型训练后进行一下保存确保模型保无误
trainer.save_model('result/best')#保存路径

保存后的模型文件夹列表：

#微调的配置文件
adapter_config.json

#微调后的权重文件，我理解为微调后的小模型
adapter_model.safetensors

#模型训练的参数以及配置
training_args.bin

上面我们保存是训练好的LoRA模型，从文件大小上就可以看出来。

我们要转换gguf文件需要保存完整训的模型，可以使用model.save_pretrained 进行保存

    #输出目录
    model.save_pretrained("./output_model")

如果我们训练完成后关闭了文件。 可以再次调用已经保存的lora模型与基座模型进行融合并保存

    from peft import PeftModel

    from transformers import LlamaForCausalLM

    #载入模型
    model = LlamaForCausalLM.from_pretrained('./model', load_in_8bit=False, device_map="auto")

    #载入微调后的模型文件
    model = PeftModel.from_pretrained(model, './you-lora-model', device_map="auto",trust_remote_code=True)

    #合并模型
    merged_model = model.merge_and_unload() 

    #保存模型
    merged_model.save_pretrained(save_path)

转换为gguf

首先介绍下什么是gguf文件。我理解它是一种把模型转换（打包）为一个文件的文件格式，便于调用。

我用到的是llama.cpp

直接上github 下载下来。

    git clone <https://github.com/ggerganov/llama.cpp.git>

然后cd 到 你的下载目录中进行安装

    #如果使用的conda 的时候 cd 后面跟上 /d 
    #例如：   cd /d F:/py/output

    pip install -r ./requirements.txt

安装完成后我们就可以直接开始转换了,直接调用目录下的convert_hf_to_gguf.py 文件。输入你训练好的模型地址，以及要保存的地址以及保存的文件名。

    python ./convert_hf_to_gguf.py ./qwen2_0.5b_instruct   --outfile ./qwen2_0.5b_instruct_my.gguf

运行完成后，我们就可以在目录下面看见xx.gguf文件了

载入 Ollama

要载入ollama 其实非常简单，在你的gguf 文件夹内新建一个文件名为 Modelfile 无后缀名。用记事本打开，写入 ./you-mode.guuf 你要载入的gguf模型文件。具体每个模型参数不同可查看该模型文档。

然后用 ollama create 命令

    ollama create you_model-name -f Modelfile

载入完成后 用 ollama list 就可以查看到你的模型，之后就可以愉快的玩耍了。

DeepSeek无疑是2025开年AI圈的一匹黑马，在一众AI大模型中，DeepSeek以低价高性能的优势脱颖而出。DeepSeek的上线实现了AI界的又一大突破，各大科技巨头都火速出手，争先抢占DeepSeek大模型的流量风口。

DeepSeek的爆火，远不止于此。它是一场属于每个人的科技革命，一次打破界限的机会，一次让普通人也能逆袭契机。

DeepSeek的优点

掌握DeepSeek对于转行大模型领域的人来说是一个很大的优势，目前懂得大模型技术方面的人才很稀缺，而DeepSeek就是一个突破口。现在越来越多的人才都想往大模型方向转行，对于想要转行创业，提升自我的人来说是一个不可多得的机会。

那么应该如何学习大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家。

如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】