模型部署系列 | 如何本地部署LLM服务？以ollama为例

最新推荐文章于 2025-03-21 11:00:46 发布
最新推荐文章于 2025-03-21 11:00:46 发布
阅读量2k 收藏 20
点赞数 16
分类专栏： 模型部署 文章标签： 人工智能 LLM 模型部署 LLM部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ljp1919/article/details/142442803
版权

简介

小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖沙茶面的小男孩。这篇小作文主要介绍如何使用 ollama 在本地部署大模型服务。更多关于大模型相关，如模型解读、模型微调、模型部署、推理加速等，可以留意本微信公众号《小窗幽记机器学习》。

安装ollama

安装过程需要访问github，如果网络不好，可以根据自己的实际需要预先进行如下代理设置(所以看自己的代理，)：

git config --global url."https://github-proxy，XXX.com/".insteadOf "https://github.com/"

也可以使用如下的方式配置代理：

export HTTPS_PROXY=XXX.com:8080
export HTTP_PROXY=XXX.com:8080

再执行以下命令：

curl -fsSL https://ollama.com/install.sh | sh

如果由于网络原因，也可以直接下载Linux版本，然后重命名为ollama，再修改install.sh中的TEMP_DIR路径为ollama文件所在目录。最后执行bash install.sh直接进行安装。

Linux上更具体的安装细节可以参考官方说明。

在安装完Ollama之后，我们需要准备一个已经训练好的大型语言模型。Ollama支持多种不同的模型格式，包括Hugging Face的Transformers模型、PyTorch模型等。

启动服务

如何利用ollama快速启动一个大模型服务？

方法1：Ollama官方下载

可以通过ollama library直接查阅目标模型是否存在，比如想要运行Qwen，可以直接运行如下：

ollama run qwen

方法2：本地模型

将从hf上下载的pytorch模型文件转为UUGF格式。

clone ollama/ollama 仓库:

git clone git@github.com:ollama/ollama.git ollama
cd ollama

fetch 该仓库中的 llama.cpp submodule:

git submodule init
git submodule update llm/llama.cpp

安装Python依赖:

pip3 install -r llm/llama.cpp/requirements.txt -i https://mirrors.cloud.tencent.com/pypi/simple

模型格式转换：

python3 llm/llama.cpp/convert-hf-to-gguf.py /model_zoo/LLM/Qwen/Qwen1.5-4B-Chat/ --outtype f16 --outfile qwen1.5-4B-chat.gguf

构建quantize工具：

make -C llm/llama.cpp quantize

当然，如果此前已经使用过llama.cpp，那么可以直接使用已经编译出的llama.cpp/build/bin/quantize工具。

模型量化：

/Repository/LLM/llama.cpp/build/bin/quantize qwen1.5-4B-chat.gguf qwen1.5-4B-chat_q4_0.gguf q4_0

至此，生成量化后的模型qwen1.5-4B-chat_q4_0.gguf

-rw-r--r--  1 root        root        7.4G Apr 13 08:08 qwen1.5-4B-chat.gguf
-rw-r--r--  1 root        root        2.2G Apr 13 08:12 qwen1.5-4B-chat_q4_0.gguf

新建Modelfile，比如名为 qwen1.5-4B-chat_q4_0.mf

FROM qwen1.5-4B-chat_q4_0.gguf

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05
PARAMETER top_k 20

TEMPLATE """{{ if and .First .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
{{ .Response }}"""

# set the system message
SYSTEM """
You are a helpful assistant.
"""

在创建模型之前需要注意检测是否已经启动 ollama 服务，如果没有启动，则通过以下命令启动：

ollama serve &

可以通过以下命令查看model清单：

ollama list

结果如下：

[GIN] 2024/04/13 - 08:29:44 | 200 |       43.91µs |       127.0.0.1 | HEAD     "/"
[GIN] 2024/04/13 - 08:29:44 | 200 |    5.550372ms |       127.0.0.1 | GET      "/api/tags"

创建模型：

ollama create qwen1.5-4B -f qwen1.5-4B-chat_q4_0.mf

此时再运行ollama list，结果如下：

[GIN] 2024/04/13 - 08:33:33 | 200 |      31.789µs |       127.0.0.1 | HEAD     "/"
[GIN] 2024/04/13 - 08:33:33 | 200 |   13.834699ms |       127.0.0.1 | GET      "/api/tags"
NAME                    ID              SIZE    MODIFIED
qwen1.5-4B:latest       2ca4f59f16eb    2.3 GB  About a minute ago

启动模型服务：

ollama run qwen1.5-4B

输入，"你好，你是谁"

API测试

如何通过API测试模型服务？API的详情可以参考官方说明。

对Chat接口进行测试：

curl http://localhost:11434/api/chat -d '{
  "model": "qwen1.5-4B",
  "messages": [
    { "role": "user", "content": "你好，你是谁" }
  ],
  "stream": false
}'

以上设置非流式返回：

{"model":"qwen1.5-4B","created_at":"2024-04-13T08:41:52.481530089Z","message":{"role":"assistant","content":"你好，我是通义千问。我是一个基于阿里云的大规模语言模型，能够回答各种问题、创作文字，还能表达观点、撰写代码。有什么我可以帮助你的吗？"},"done":true,"total_duration":367232392,"load_duration":8591084,"prompt_eval_duration":26868000,"eval_count":40,"eval_duration":331108000}

对 generate 结果进行测试：

curl http://localhost:11434/api/generate -d '{
  "model": "qwen1.5-4B",
  "prompt": "你是谁？",
  "stream": false
}'

接口返回：

{"model":"qwen1.5-4B","created_at":"2024-04-13T08:50:19.674913783Z","response":"我是阿里云开发的超大规模语言模型，我叫通义千问。","done":true,"context":[151644,872,198,105043,100165,11319,151645,198,151644,77091,198,104198,102661,99718,100013,9370,71304,105483,102064,104949,3837,35946,99882,31935,64559,99320,56007,1773],"total_duration":180988339,"load_duration":7694382,"prompt_eval_duration":26834000,"eval_count":18,"eval_duration":145800000}

总结

本文主要介绍如何安装ollama，并演示2种加载模型的方法： 

(1)拉取ollama官方已经有的模型，进行LLM服务部署。

(2)加载本地模型部署大模型服务。 

最后，对部署的LLM服务的接口进行测试。#大模型部署 #LLM部署 #如何部署ollama #模型框架 #AI入门 #推理加速

LLM大模型部署实战指南：Ollama部署简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发【含ollama详细部署指南多版本】
丨汀、的博客
08-13 1万+
LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发
基于 Ollama 工具的 LLM 大语言模型如何部署，以 DeepSeek 14B 本地部署为例
简简单单Onlinezuozuo
02-16 397
什么是 Ollama，它与 Llama 是什么关系Ollama 是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如 Llama 3、Phi 3、Mistral、Gemma 等开源的大型语言模型。通过访问 https://ollama.com/library 我们可以找到 Ollama 支持的模型列表。
ollama本地部署llama3（window系统）
Baker的博客
05-14 2349
ollama只是一个大模型的服务工具，并非大模型本体，所以只是安装ollama也并不能使用大模型，所以接下来要通过ollama下载大模型，需要注意的是，llama3分为多个版本，如果你的电脑性能一般还是安装llama3:8B的版本，除非是很好的电脑，内存64以上，GPU 3090的那种才考虑安装llama3:70B,下面是根据电脑配置推荐的安装版本。下面开始下载和安装，下载的话可以到ollama的官网去下载，有window，macOS，liunx三个版本，如下图就是下载完成，可以直接在这里提问了，
本地部署大模型？Ollama 部署和实战，看这篇就够了
u010522887的专栏
07-24 3万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
ollama反向代理防止被白嫖
最新发布
qq_36437991的博客
03-21 177
ollama反向代理防止被白嫖
本地部署大模型？看这篇就够了，Ollama 部署和实战
2401_85373898的博客
11-13 2171
如果要使用的模型不在 Ollama 模型库怎么办？至此，我们一起走完了 Ollama 的部署和实战流程。在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中，发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地，探索更广阔的可能性！
Ollama：一个在本地部署、运行LLM大型语言模型的工具
2401_82469710的博客
06-26 4458
Ollama是一个专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计的工具。
Ollama：一个在本地部署、运行大型语言模型的工具
weixin_59191169的博客
05-28 7827
所谓自定义模型就是不适用Ollama官方模型库中的模型，理论可以使用其他各类经过转换处理的模型Ollama库中的模型可以通过提示进行自定义。# 设置温度参数# 设置SYSTEM 消息SYSTEM """作为AI智能助手，你将竭尽所能为员工提供严谨和有帮助的答复。"""Modelfile文档One-API是一个OpenAI接口管理 & 分发系统，支持各类大模型。这里使用Docker快速进行部署。拉取镜像创建挂载目录启动容器访问IP:3001初始账号用户名为 root，密码为 123456。
Ollama：本地大语言模型（LLM）部署 && 使用 Ollama 构建一个智能问答系统
Q的博客
09-18 3735
Ollama,本地大语言模型部署，智能问答系统
本地部署大型语言模型之Ollama与Chatbox安装及使用指南
03-05
内容概要：本文详细介绍了如何利用Ollama这一开源工具，在本地环境中简便快捷地安装和操作多种大型语言模型(LLMs)，比如 LLaMA 和 Mistral 。不仅包括从官网获取适配不同操作系统(Os)的安装程序，还涉及了环境变量的...
大语言模型本地部署框架Ollama：多平台支持与丰富的模型库助力便捷应用
01-31
内容概要：Ollama 是一款开源大语言模型（LLM）本地部署框架，以其广泛的跨平台兼容性（涵盖 Windows、macOS、Linux 和 Docker）、丰富的开源模型库和支持多种编程及脚本语言的 API 集成特点而受到关注。此外，它...
本地部署 Ollama
engchina的专栏
01-07 8590
本地部署 Ollama
ollama本地部署教程
huicui123558088的博客
09-27 1807
这里可以看到已经可以聊天了，当然这样的节目不是很方便，所有可以部署一些，像OPEN WebUI，可以直接用浏览器访问的页面，或者部署本地知识库像Fastgpt、Dify、Ragflow、MaxKB也基本都是社区开源的，后面再单独整理部署文档。8B代表8千亿参数大小，一般电脑配置（i5-12代、8G显存、40G)即可运行；70B代表70千亿参数，需要i9-13代、80G显存，100G配置；这里运行报错了，是因为我修改了默认配置，需要在运行前面添加主机信息。点击“Download”选择自己需要下载的模型。
利用Ollama本地部署 DeepSeek
小码农吗
02-11 352
AnythingLLM、Dify、Open-WebUI 三款比较火的基础层。😁 作者：Teddy (公众号：码尚云软件)选择适合自己的系统进行下载即可。
本地模型部署工具-Ollama
东东爱编码博客
01-07 2480
如果需要部署本地开源大模型并将其用于提供推理服务，那么推荐使用 Ollama 这款工具来作为大模型运行与推理的管理工具。参考：https://github.com/ollama/ollama/blob/main/docs/faq.md。进入终端，使用如下命令，查看是否安装成功。， 可以通过设置环境变量的方式更改默认的服务端口。Ollama 默认服务器端口。
个人电脑本地部署LLM
神棍之路
04-26 2262
普通电脑配置即可本地运行大模型。
使用Ollama本地部署 Llama3大模型！最简单的方法，无需GPU也能使用
撸啊撸的博客
05-12 5174
开源大模型领域当前最强的无疑是 LLaMA 3！Meta 这次不仅免费公布了两个性能强悍的大模型（8B 和 70B），还计划发布一个可以与 GPT-4 对打的 400B 模型。今天，我们将介绍一种简单易懂的本地部署方法，非常适合新手！如果想深度使用Llama3，还是准备一个好的GPU环境来测试，CPU环境下还是很吃力。
【开源项目】ollama：本地部署大模型
weixin_45725295的博客
03-06 1406
从Github项目的最新release下载安装包，点击运行即可。
笔记本电脑本地部署ollama大模型（显存不足调用CUDA Unified Memory方法）
热门推荐
m0_67228616的博客
08-14 3万+
ollama个人部署
如何用anaconda、ollama训练本地部署的deepseek 模型？
02-25
<think>嗯，用户问的是如何用Anaconda和Ollama来训练本地部署的DeepSeek模型。首先，我需要确认这几个工具和模型之间的关系。Anaconda是Python的环境管理工具，Ollama是一个用于本地运行大模型的工具，而DeepSeek模型可能是指深度求索公司开发的某个大语言模型，比如DeepSeek-R1或者DeepSeek-V2之类的。 首先，我得想清楚用户的需求。用户可能想在本地训练或微调一个DeepSeek的模型，使用Anaconda管理环境，Ollama来部署。但Ollama目前主要支持的是模型的运行和微调，可能不支持从头训练，所以用户可能指的是微调。不过Ollama支持的模型列表里是否有DeepSeek的模型呢？比如，Ollama的官方模型库里有Llama、Mistral等，但DeepSeek的模型可能需要用户自己导入。所以可能需要先下载DeepSeek的模型文件，转换成Ollama支持的格式。 接下来，步骤大概会是这样的：首先用Anaconda创建Python环境，安装必要的库，比如PyTorch、Transformers等。然后下载DeepSeek的模型，可能是Hugging Face上的，比如deepseek-ai/deepseek-llm-7b-chat这样的模型。接着，可能需要将模型转换为Ollama支持的GGUF格式，使用llama.cpp或者类似工具进行转换。之后，配置Ollama的Modelfile，创建Ollama模型，并进行微调。微调的话需要准备数据集，可能使用Ollama的命令行工具或者编写Python脚本进行参数调整。 不过需要注意，Ollama是否支持微调功能。目前Ollama主要是运行模型，微调可能需要用其他方法，比如Hugging Face的Trainer或者PEFT库来进行参数高效微调。这时候可能需要将Ollama和微调流程分开，Ollama用于部署，而训练部分用Transformers库来处理。 另外，用户可能混淆了训练和微调的概念。如果是本地训练，从头开始训练一个大模型需要大量计算资源，可能不现实。所以更可能的情况是微调预训练的DeepSeek模型。这时候步骤应该是：设置Anaconda环境，安装依赖，加载预训练模型和分词器，准备数据集，配置训练参数，进行微调，然后保存模型，最后用Ollama加载微调后的模型。 不过Ollama的使用流程通常是拉取现有模型，比如ollama run llama2。如果要使用自定义模型，需要创建Modelfile，指定模型路径和参数。因此，可能需要将微调后的模型转换成Ollama支持的格式，比如GGUF，然后通过Modelfile来加载。 总结下来，步骤可能包括：1. 配置Anaconda环境；2. 下载DeepSeek模型；3. 转换模型格式为GGUF；4. 创建Ollama Modelfile；5. 微调模型（可能需要其他工具）；6. 部署到Ollama。 同时需要检查DeepSeek模型的许可协议，确保允许微调和本地部署。另外，硬件要求也是一个重点，需要足够的GPU内存。如果用户没有GPU，可能需要用量化模型或者调整参数。 可能遇到的错误包括模型格式不兼容、依赖版本冲突、内存不足等。需要提醒用户注意这些点，并参考相关文档和社区支持。</think>以下是使用 Anaconda 和 Ollama 在本地训练/微调 DeepSeek 模型的步骤指南（以 **DeepSeek-7B** 为例）： --- ### **一、准备工作** 1. **硬件要求** - 建议 NVIDIA GPU（至少 16GB 显存） - 内存建议 32GB+，存储 50GB+ 可用空间 2. **安装 Anaconda** ```bash wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh bash Anaconda3-2024.02-1-Linux-x86_64.sh ``` 3. **安装 Ollama** ```bash curl -fsSL https://ollama.com/install.sh | sh ``` --- ### **二、配置 Anaconda 环境** ```bash conda create -n deepseek python=3.10 conda activate deepseek pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets peft accelerate ``` --- ### **三、获取 DeepSeek 模型** 1. **从 Hugging Face 下载模型** ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-llm-7b-chat") tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b-chat") model.save_pretrained("./deepseek-7b") ``` 2. **转换为 Ollama 格式 (GGUF)** ```bash git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make python3 convert.py --outtype f16 ./deepseek-7b ``` --- ### **四、微调训练（示例）** 1. **准备数据集**（JSON 格式） ```json [ {"instruction": "解释量子力学", "input": "", "output": "..."}, {"instruction": "写一首关于春天的诗", "input": "", "output": "..."} ] ``` 2. **使用 PEFT 微调** ```python from peft import LoraConfig, get_peft_model lora_config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"]) model = get_peft_model(model, lora_config) # 配置 Trainer 进行训练... ``` --- ### **五、Ollama 本地部署** 1. **创建 Modelfile** ```text FROM ./deepseek-7b/ggml-model-f16.gguf PARAMETER num_ctx 4096 PARAMETER temperature 0.7 ``` 2. **构建并运行模型** ```bash ollama create deepseek-custom -f Modelfile ollama run deepseek-custom ``` --- ### **六、关键注意事项** 1. **量化建议**（显存不足时） ```bash ./quantize ./deepseek-7b/ggml-model-f16.gguf ./deepseek-7b/ggml-model-q4_0.gguf q4_0 ``` 2. **资源监控** - 使用 `nvidia-smi` 监控 GPU 使用 - 训练时建议使用 `accelerate` 库优化分布式训练 3. **官方参考** - DeepSeek 模型库：https://huggingface.co/deepseek-ai - Ollama 文档：https://github.com/ollama/ollama --- 通过以上步骤，您可以在本地实现 DeepSeek 模型的定制化训练与部署。如果遇到显存不足问题，建议尝试更小的量化版本（如 q4_k）或使用参数冻结技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值