如何用Ollama在本地构建大语言模型？

最新推荐文章于 2025-03-26 09:00:00 发布
最新推荐文章于 2025-03-26 09:00:00 发布
阅读量3.3k 收藏 7
点赞数 3
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42382827/article/details/138448727
版权

目录：
1. 下载 Ollma 安装文件
2. 安装 Ollama
3. (可选)环境变量
4. 使用 Ollama
5. (可选)修改默认模型

Ollama是一个开源框架，设计用于在本地轻松部署和运行大型语言模型（LLMs）。这个工具简化了原本复杂的过程，使得开发者和研究人员能够在自己的机器上直接利用强大的语言模型，而不需要依赖云服务。Ollama支持多种知名的大规模语言模型，如Llama 3、Qwen、Mistral、Gemma等，且持续更新以兼容最新的模型版本。Ollama不仅支持Linux和macOS，还发布了对Windows平台的预览版，这意味着更多用户可以在自己的操作系统上运行这些模型。

我试着运行Llama 3 一下，模型的下载速度非常快，推理速度和推理效果很棒。

1. 下载 Ollma 安装文件
访问 https://ollama.com/download，根据本地机器的系统选择对应的安装版本。我这里选择 Windows，单击 “Download for Windows (Preview)” 进行下载。

2. 安装 Ollama
双击下载的 “OllamaSetup.exe”，直接安装就可以了。

3. (可选)环境变量
Ollama 下载的模型模型保存在 C 盘，如果想更改默认路径的话，可以通过增加系统环境变量 OLLAMA_MODELS。

OLLAMA_MODELS：D:\OllamaModels
还有，Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认只可以通过 localhost 进行访问，如果想公开访问的话，可以通过设置 OLLAMA_HOST 进行修改。

4. 使用 Ollama
访问 https://ollama.com/library，搜索你要使用的模型，主流的模型，比如 llama3、qwen1.5、mixtral 等，Ollama都支持。

我这里以 llama3 为例，我们要运行 8b 的模型，

打开Windows终端，输入命令：ollama run llama3 运行，Ollama将自动下载llama3:8b模型，完成后进入终端命令行问答模式，你可以直接在上面问问题啦！


5. (可选)修改默认模型
Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通过ollama cp的方式，为模型起一个临时的名称。

例如，

ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4
 

pinewaves111
关注
Python 调用 Ollama 库：本地大语言模型使用详解
s13596191285的博客
03-18 205
随着大语言模型在各类智能应用中的广泛应用，如何在本地高效部署和调用这些模型成为技术热点。Ollama 提供了一种便捷的方式，将本地大语言模型封装为可调用的服务接口，从而让开发者可以通过 Python 脚本直接与模型进行交互。本文将介绍如何在 Python 中使用 Ollama 库实现大语言模型的查询，解析其核心调用流程与错误处理逻辑，并附上详细代码示例。
Ollama教程——入门：开启本地大型语言模型开发之旅
热门推荐
walkskyer的博客
04-02 5万+
ollama不仅支持运行预构建的模型，还提供了灵活的工具来导入和自定义您自己的模型。无论是从GGUF格式导入还是进行模型的个性化设置，ollama都能满足您的需求。您还可以通过自定义提示来调整模型的行为。接着，创建一个ModelfileFROM llama2 # 设置创造性更高的温度参数 PARAMETER temperature 1 # 设置系统消息 SYSTEM "" "你是超级马里奥，以马里奥的身份回答问题。"" "这样，您就能按照自己的需求定制模型了。
在本地运行大型语言模型：Ollama的入门指南
aehrutktrjk的博客
10-14 895
Ollama将模型权重、配置和数据打包为一个Modelfile，优化了设置和配置细节，包括GPU的使用。它简化了在本地系统上运行复杂模型的过程。本文介绍了如何在本地使用Ollama运行大型语言模型。Ollama官方文档LangChain与Ollama整合指南Ollama模型库。
LLM之Ollama：ollama的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-05 2万+
​ LLM之ollama：ollama的简介、安装和使用方法、案例应用之详细攻略 目录 ollama的简介 ollama的安装和使用方法 ollama的案例应用 ollama的简介 ollama是一款可以开始使用本地的大型语言模型。启动并运行大型语言模型。运行Llama 2、Code Llama和其他模型。自定义并创建您自己的模型。 官网：Ollama GitHub地址：GitHub - ollama/ollama: Get up and
保姆级教程：从零开始部署Ollma和Qwen大模型
最新发布
2401_85325726的博客
03-26 854
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
探索Ollama——入门：如何在本地环境中搭建和自定义大型语言模型
南七小僧的学海无涯
05-23 2385
在当今快速发展的人工智能时代，大型语言模型（LLMs）已经成为技术前沿的热点话题。Ollama，作为一个开创性的工具，使得开发者能够在本地环境中轻松运行和管理这些强大的模型。无论是进行自然语言处理、代码生成还是其他AI驱动的任务，Ollama都提供了一个简单、高效的解决方案。Ollama的主要特点包括其对多种操作系统的支持、对Docker的集成、以及一个丰富的模型库，让用户可以根据自己的需要选择和运行不同的模型。
Ollama安装与使用指南
cooldream2009的博客
03-08 1225
在人工智能技术快速发展的今天，大语言模型（LLM）正逐步成为各类应用的核心驱动力。Ollama作为一个便捷的本地运行平台，可以帮助开发者在本地高效部署和运行大模型。本文将详细介绍如何在Windows环境下安装Ollama，并配置环境变量以优化模型存储，同时演示如何运行deepseek-r1:1.5b模型。
Ollama：本地大语言模型（LLM）部署 && 使用 Ollama 构建一个智能问答系统
Q的博客
09-18 3729
Ollama,本地大语言模型部署，智能问答系统
Ollama：在本地运行大型语言模型的技术指南
02-03
内容概要：本文介绍了Ollama——一种让用户在本地计算机上部署和运行像LLaMA、Mistral这样的大型语言模型的工具。主要内容包括安装Ollama的步骤，适用于macOS和Linux系统；如何启动服务并下载所需的语言模型；怎样...
玩转大语言模型——使用langchain和Ollama本地部署大语言模型
艾醒的博客
01-30 2035
Ollama 是一个开源的大型语言模型服务工具，旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。用户可以在自己的设备上运行模型，无需依赖云服务或远程服务器，保护了数据隐私。支持 Windows、macOS 和 Linux 等多种操作系统，方便不同用户安装使用。在本篇中将介绍Windows下使用Ollama进行本地大模型的部署。
ollma 本地部署大模型
Wolf_xujie的博客
08-25 2729
因为我本地是 windows 的系统，所以这里直接写的是通过 docker 来实现本地大模型的部署。windows 下 WSl 的安装这里就不做重复，详见。
使用ollama在本地部署llama3-8b大模型
weixin_39945822的博客
06-15 1万+
使用ollama在本地部署llama3-8b大模型
【Ai教程】Ollma安装 | 0代码本地运行Qwen大模型，保姆级教程来了！
王傲旗的大数据之路
11-07 2753
我们平时使用的ChatGPT、kimi、豆包等Ai对话工具，其服务器都是部署在各家公司的机房里，如果我们有一些隐私数据发到对话中，很难保证信息是否安全等问题，如何在保证数据安全的情况下，又可以使用大预言模型，Ollma（哦拉玛）可以告诉你答案！
【超详细教程】本地部署大模型：Ollama部署与实战指南，一文搞定！
2401_84495872的博客
01-20 5006
前几篇，分享的都是如何白嫖国内外各大厂商的免费大模型服务~有小伙伴问，如果我想在本地搞个大模型玩玩，有什么解决方案？Ollama，它来了，专为在本地机器便捷部署和运行大模型而设计。也许是目前最便捷的大模型部署和运行工具，配合OpenWebUI，人人都可以拥有大模型自由。今天，就带着大家实操一番，从0到1玩转Ollama。
本地部署 llama3 大模型-有手就行
ytt0523_com的博客
07-24 741
LLaMA（Large Language Model Meta AI）是Meta开发的大规模预训练语言模型，基于Transformer架构，具有强大的自然语言处理能力。它在文本生成、问答系统、机器翻译等任务中表现出色。LLaMA模型有多个规模，从几亿到上千亿参数，适用于不同的应用场景。用户可以通过开源平台如Hugging Face获取LLaMA模型，并根据需要进行微调。LLaMA的灵活性和可扩展性使其在自然语言处理领域具有广泛的应用前景。Ollama是一款用于本地安装和管理大规模预训练语言模型的工具。
第一章 Ollama安装
liujianming的博客
04-05 2723
Ollama安装
本地部署大模型？Ollama 部署和实战，看这篇就够了
u010522887的专栏
07-24 3万+
Ollama 也许是当前最便捷的大模型部署工具，配合Open WebUI，人人都可以拥有大模型自由。
ollma3.1本地部署
HRSTKHS的博客
07-30 1359
安装llama3.1-405b，这是一个极其庞大的模型，安装和运行它在本地需要非常高的显存和硬件资源，至少需要大约 400-450 GB 显存，适合顶级大企业用户，安装命令就是。安装llama3.1-70b，至少需要大约 70-75 GB 显存，适合企业用户，安装命令就是。安装好后，请在powershell或者win+R输入cmd进入命令终端提示符进行模型的安装。​Windows：3060以上显卡+8G以上显存+16G内存，硬盘空间至少20G。安装llama3.1-8b，至少需要8G的显存，安装命令就是。
如何用anaconda、ollama训练本地部署的deepseek 模型？
02-25
<think>嗯，用户问的是如何用Anaconda和Ollama来训练本地部署的DeepSeek模型。首先，我需要确认这几个工具和模型之间的关系。Anaconda是Python的环境管理工具，Ollama是一个用于本地运行大模型的工具，而DeepSeek模型可能是指深度求索公司开发的某个大语言模型，比如DeepSeek-R1或者DeepSeek-V2之类的。 首先，我得想清楚用户的需求。用户可能想在本地训练或微调一个DeepSeek的模型，使用Anaconda管理环境，Ollama来部署。但Ollama目前主要支持的是模型的运行和微调，可能不支持从头训练，所以用户可能指的是微调。不过Ollama支持的模型列表里是否有DeepSeek的模型呢？比如，Ollama的官方模型库里有Llama、Mistral等，但DeepSeek的模型可能需要用户自己导入。所以可能需要先下载DeepSeek的模型文件，转换成Ollama支持的格式。 接下来，步骤大概会是这样的：首先用Anaconda创建Python环境，安装必要的库，比如PyTorch、Transformers等。然后下载DeepSeek的模型，可能是Hugging Face上的，比如deepseek-ai/deepseek-llm-7b-chat这样的模型。接着，可能需要将模型转换为Ollama支持的GGUF格式，使用llama.cpp或者类似工具进行转换。之后，配置Ollama的Modelfile，创建Ollama模型，并进行微调。微调的话需要准备数据集，可能使用Ollama的命令行工具或者编写Python脚本进行参数调整。 不过需要注意，Ollama是否支持微调功能。目前Ollama主要是运行模型，微调可能需要用其他方法，比如Hugging Face的Trainer或者PEFT库来进行参数高效微调。这时候可能需要将Ollama和微调流程分开，Ollama用于部署，而训练部分用Transformers库来处理。 另外，用户可能混淆了训练和微调的概念。如果是本地训练，从头开始训练一个大模型需要大量计算资源，可能不现实。所以更可能的情况是微调预训练的DeepSeek模型。这时候步骤应该是：设置Anaconda环境，安装依赖，加载预训练模型和分词器，准备数据集，配置训练参数，进行微调，然后保存模型，最后用Ollama加载微调后的模型。 不过Ollama的使用流程通常是拉取现有模型，比如ollama run llama2。如果要使用自定义模型，需要创建Modelfile，指定模型路径和参数。因此，可能需要将微调后的模型转换成Ollama支持的格式，比如GGUF，然后通过Modelfile来加载。 总结下来，步骤可能包括：1. 配置Anaconda环境；2. 下载DeepSeek模型；3. 转换模型格式为GGUF；4. 创建Ollama Modelfile；5. 微调模型（可能需要其他工具）；6. 部署到Ollama。 同时需要检查DeepSeek模型的许可协议，确保允许微调和本地部署。另外，硬件要求也是一个重点，需要足够的GPU内存。如果用户没有GPU，可能需要用量化模型或者调整参数。 可能遇到的错误包括模型格式不兼容、依赖版本冲突、内存不足等。需要提醒用户注意这些点，并参考相关文档和社区支持。</think>以下是使用 Anaconda 和 Ollama 在本地训练/微调 DeepSeek 模型的步骤指南（以 **DeepSeek-7B** 为例）： --- ### **一、准备工作** 1. **硬件要求** - 建议 NVIDIA GPU（至少 16GB 显存） - 内存建议 32GB+，存储 50GB+ 可用空间 2. **安装 Anaconda** ```bash wget https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Linux-x86_64.sh bash Anaconda3-2024.02-1-Linux-x86_64.sh ``` 3. **安装 Ollama** ```bash curl -fsSL https://ollama.com/install.sh | sh ``` --- ### **二、配置 Anaconda 环境** ```bash conda create -n deepseek python=3.10 conda activate deepseek pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers datasets peft accelerate ``` --- ### **三、获取 DeepSeek 模型** 1. **从 Hugging Face 下载模型** ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-llm-7b-chat") tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b-chat") model.save_pretrained("./deepseek-7b") ``` 2. **转换为 Ollama 格式 (GGUF)** ```bash git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make python3 convert.py --outtype f16 ./deepseek-7b ``` --- ### **四、微调训练（示例）** 1. **准备数据集**（JSON 格式） ```json [ {"instruction": "解释量子力学", "input": "", "output": "..."}, {"instruction": "写一首关于春天的诗", "input": "", "output": "..."} ] ``` 2. **使用 PEFT 微调** ```python from peft import LoraConfig, get_peft_model lora_config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"]) model = get_peft_model(model, lora_config) # 配置 Trainer 进行训练... ``` --- ### **五、Ollama 本地部署** 1. **创建 Modelfile** ```text FROM ./deepseek-7b/ggml-model-f16.gguf PARAMETER num_ctx 4096 PARAMETER temperature 0.7 ``` 2. **构建并运行模型** ```bash ollama create deepseek-custom -f Modelfile ollama run deepseek-custom ``` --- ### **六、关键注意事项** 1. **量化建议**（显存不足时） ```bash ./quantize ./deepseek-7b/ggml-model-f16.gguf ./deepseek-7b/ggml-model-q4_0.gguf q4_0 ``` 2. **资源监控** - 使用 `nvidia-smi` 监控 GPU 使用 - 训练时建议使用 `accelerate` 库优化分布式训练 3. **官方参考** - DeepSeek 模型库：https://huggingface.co/deepseek-ai - Ollama 文档：https://github.com/ollama/ollama --- 通过以上步骤，您可以在本地实现 DeepSeek 模型的定制化训练与部署。如果遇到显存不足问题，建议尝试更小的量化版本（如 q4_k）或使用参数冻结技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值