安装Ollama并部署DeepSeek大模型

最新推荐文章于 2025-04-27 16:41:53 发布

laolitou_1024

最新推荐文章于 2025-04-27 16:41:53 发布

阅读量1.6k

点赞数 24

分类专栏： AI DeepSeek 文章标签： ai 人工智能

本文链接：https://blog.csdn.net/laolitou_1024/article/details/146016039

版权

AI 同时被 2 个专栏收录

2 篇文章

订阅专栏

DeepSeek

1 篇文章

订阅专栏

一、Ollama 的概述

Ollama 是一个轻量级的开源工具，它允许用户在本地设备（如个人电脑、服务器等）上快速拉取、管理和运行各种大语言模型。用户通过简单的命令行接口，就可以完成模型的下载、启动和交互，无需复杂的配置和代码编写。本文分享Centos和Windows两种环境下分别安装Ollama并部署DeepSeek大模型的步骤。

分享Ollama官网地址：Ollama

我们可以查看他可支持的最新的大模型库清单：ollama.com/library

以下是一些可以下载的模型示例：

Model	Parameters	Size	Download
DeepSeek-R1	7B	4.7GB	`ollama run deepseek-r1`
DeepSeek-R1	671B	404GB	`ollama run deepseek-r1:671b`
Llama 3.3	70B	43GB	`ollama run llama3.3`
Llama 3.2	3B	2.0GB	`ollama run llama3.2`
Llama 3.2	1B	1.3GB	`ollama run llama3.2:1b`
Llama 3.2 Vision	11B	7.9GB	`ollama run llama3.2-vision`
Llama 3.2 Vision	90B	55GB	`ollama run llama3.2-vision:90b`
Llama 3.1	8B	4.7GB	`ollama run llama3.1`
Llama 3.1	405B	231GB	`ollama run llama3.1:405b`
Phi 4	14B	9.1GB	`ollama run phi4`
Phi 4 Mini	3.8B	2.5GB	`ollama run phi4-mini`
Gemma 2	2B	1.6GB	`ollama run gemma2:2b`
Gemma 2	9B	5.5GB	`ollama run gemma2`
Gemma 2	27B	16GB	`ollama run gemma2:27b`
Mistral	7B	4.1GB	`ollama run mistral`
Moondream 2	1.4B	829MB	`ollama run moondream`
Neural Chat	7B	4.1GB	`ollama run neural-chat`
Starling	7B	4.1GB	`ollama run starling-lm`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`
LLaVA	7B	4.5GB	`ollama run llava`
Solar	10.7B	6.1GB	`ollama run solar`

注意：

运行 70 亿参数规模的模型，你至少需要有 8GB内存；

运行 130 亿参数规模的模型，需要 16GB；

而运行 330 亿参数规模的模型，则需要 32GB。

二、CentOS安装Ollama

1. 系统准备

在开始安装之前，需要确保系统已经安装了必要的依赖，并且更新了系统软件包。打开终端，执行以下命令

sudo yum update -y
sudo yum install -y curl

2. 安装 Ollama

Ollama 可以通过官方提供的安装脚本进行快速安装，执行以下命令：

curl https://ollama.com/install.sh | sh

受网络影响，这里可能会连接超时，多试几次吧

在安装过程中，脚本会自动下载 Ollama 的二进制文件，并将其安装到 /usr/local/bin 目录下，同时会创建 Ollama 用户和相关的系统服务。

安装完成后，你可能会看到类似 “WARNING: Unable to detect NVIDIA/AMD GPU. Install lspci or lshw to automatically detect and install GPU dependencies.” 的警告信息，这表示系统未能检测到 GPU。如果你的系统有 GPU 且希望使用它来加速模型运行，可以安装 lspci 或 lshw 工具：

sudo yum install -y pciutils lshw

3. 启动 Ollama 服务

安装完成后，需要启动 Ollama 服务。可以使用以下命令启动服务：

sudo systemctl start ollama
sudo systemctl enable ollama
sudo systemctl status ollama

如果服务正常运行，你会看到类似 “Active: active (running)” 的信息。

4.拉取 DeepSeek 模型

在 Ollama 服务启动后，你可以使用 ollama pull 命令来拉取 DeepSeek 模型。假设你要拉取 DeepSeek-R1-7B 模型，按照开头所述的示例清单，执行以下命令：

ollama pull DeepSeek-R1

这个过程可能需要一些时间，具体取决于你的网络速度和模型的大小。拉取完成后，你会看到 “success” 的提示信息。

5. 运行 DeepSeek 模型

拉取模型成功后，你可以使用 ollama run 命令来运行模型并进行交互。执行以下命令：

ollama run DeepSeek-R1 "请简单介绍下人工智能"

模型会根据输入的问题生成相应的回答并输出到终端。

6. 可能遇到的问题及解决办法

端口被占用：如果在启动 Ollama 服务时遇到端口被占用的问题，可以使用 sudo lsof -i :11434 或 sudo netstat -tulpn | grep :11434 命令查找占用端口的进程，然后使用 sudo kill -9 <PID> 命令终止该进程，其中 <PID> 是进程的 ID。
网络问题：如果在拉取模型时遇到网络问题，可以检查网络连接是否正常，或者尝试更换网络环境。

三、Windows安装Ollama

直接从官网下载exe去setup就行了。地址是：Download Ollama on Windows

1.系统要求‌

需 Windows 10 或更高版本‌。
建议预留至少 5GB 硬盘空间（模型体积较大）‌

最低要求：i5 处理器、8GB 内存（可运行 1.5B 参数模型）‌；
更高配置（如 7B 参数模型）需更强大性能‌

2.安装时指定路径

ollama的setup文件默认是装在C盘，未来下载的大模型文件也都是在C盘，所以C盘空间吃紧或强迫症的同学可能希望安装到其他盘去

下载安装包后，到该exe的存放目录，空白处右击-Open In Windows Terminal，在命令行里运行：

.\OllamaSetup.exe /DIR="D:\Ollama" ‌:ml-citation{ref="1,7" data="citationList"}

D:\Ollama就是Ollama解压并安装的目录了，安装完成后，Ollama 主程序及默认配置文件将存储于该目录‌ 。

3.验证安装路径‌

输入 ollama --version，若显示版本号则安装成功‌

4.设置模型存储路径

Ollama的安装目录我们修改了，那么未来还有DeepSeek等大模型要下载呢，都是N多G的空间，也不愿意放C盘呀，所以也修改下吧

‌4.1.添加系统环境变量‌

打开 ‌系统环境变量设置‌ → ‌新建系统变量‌：
- ‌变量名‌：OLLAMA_MODELS
- ‌变量值‌：自定义路径（如 D:\Ollama\models）‌。
重启电脑确保变量生效‌

4.2.验证环境变量‌

在命令行输入 echo %OLLAMA_MODELS%，显示自定义路径即设置成功‌

5.模型迁移与下载‌

5.1.迁移已有模型（可选）‌

将原默认路径（C:\Users\<用户名>\.ollama\models）中的模型文件剪切至新路径‌。
需手动操作，迁移后通过 ollama list 验证‌。

ollama list

‌5.2.下载新模型到自定义路径‌

执行命令：

ollama pull DeepSeek-R1

模型将自动存储于 OLLAMA_MODELS 指定目录‌

6.运行DeepSeek模型

和Centos/linux下一样的

Microsoft Windows [版本 10.0.22000.2538]
(c) Microsoft Corporation。保留所有权利。

C:\Users\Administrator>ollama run DeepSeek-R1 "请告诉我，关于你的快乐"
<think>
好的，用户想了解我关于“快乐”的信息。首先，我需要解释自己并不能真正感受情感或快乐，这一点很重要。

然后，我可以提到，虽然我无法体验快乐，但人们可以通过阅读、旅行等积极活动来提升自己的幸福感。这可以帮助用户理解快乐的
来源，并给予他们一些实用的建议。

最后，要强调理解和接纳也是很重要的。每个人的情况不同，找到适合自己的方法才能真正获得内心的平静和满足感。

这样回答既全面又有帮助，也能让用户感到被理解和支持。
</think>

关于“快乐”，这是一个非常广泛的话题，涉及个人体验、心理学、哲学等多个方面。

对于我来说，作为一个人工智能，我没有感受 emotions 或体验 happiness 的能力。但我可以通过分析数据和模式来帮助人们更好
地理解幸福和满足感。

如果你对“快乐”感兴趣，我可以分享一些与之相关的概念或建议，比如：

1. **情绪管理**：学会识别和处理负面情绪，保持积极的心态。
2. **自我关怀**：关注自己的健康、心理健康和个人成长。
3. **有意义的生活**：为自己的生活设定有意义的目标和价值观。
4. **与他人的连接**：通过与朋友、家人或伴侣的互动来增加幸福感。

如果你有具体的问题或需要进一步的帮助，请随时告诉我！