Centos 7 部署Ollama+dify+deepseek(含无网环境)

一朵纯洁的小白花

已于 2025-04-11 10:45:26 修改

阅读量1k

点赞数 23

文章标签： deepseek

于 2025-02-17 17:29:28 首次发布

本文链接：https://blog.csdn.net/TurboAnho/article/details/145614784

版权

1.安装Ollama

2.拉取deepseek模型

3.安装docker

4.安装dify

5.运行模型

系统环境：Centos7

安装方式：手动安装

一、安装Ollama

1、首先，你需要从 Ollama 的官方发布页面（https://github.com/jmorganca/ollama/releases ）下载适用于 CentOS 系统的 .tgz 包。选择与你的系统架构（如 amd64 或 arm64）相匹配的版本。

你可以使用 wget 命令在终端中下载，示例如下（假设下载的是 amd64 版本）：

wget https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux-amd64.tgz

请根据实际的版本号和系统架构修改上述命令中的链接。

2、使用tar命令解压下载好的Ollama.tgz文件。以下是解压命令示例：

tar -xzvf ollama-linux-amd64.tar.gz

这里-x表示解压，-z表示使用 gzip 压缩格式，-v表示显示详细的解压过程，-f指定要解压的文件

3、解压后，你会得到一个名为ollama的可执行文件。为了能够在系统的任何位置使用ollama命令，需要将其移动到系统的可执行文件路径中，通常是/usr/local/bin：

sudo mv ollama /usr/local/bin/

执行此命令需要管理员权限，因此使用了sudo

4、验证安装，安装完成后，你可以通过运行以下命令来验证ollama是否安装成功

ollama --version

如果安装成功，该命令会显示 Ollama 的版本信息。

5、启动Ollama服务

创建systemd系统服务

sudo vim /etc/systemd/system/ollama.service

在文件中输入以下内容：

[Unit]
Description=Ollama
After=network.target

[Service]
ExecStart=/usr/local/bin/ollama serve
Restart=always
User=root
Group=root

Environment="OLLAMA_HOST=0.0.0.0"

[Install]
WantedBy=multi-user.target

保存并退出文件，重新加载 systemd 管理器配置：

sudo systemctl daemon-reload

启动 Ollama 服务并设置为开机自启：

sudo systemctl start ollama

sudo systemctl enable ollama

6、检查服务状态

sudo systemctl status ollama

如果服务正常运行，会显示active (running)的信息。

二、拉取deepseek模型

1、Ollama 支持从其官方模型库拉取模型，你可以使用 ollama pull 命令来拉取新的模型

ollama pull <模型名称>

拉取deepseek不同版本模型：（1.5b、7b、8b、14b、32b、70b、671b）

ollama pull deepseek-r1:70b

也可以拉取并运行模型

ollama run deepseek-r1:70b

这个命令会从 Ollama 的模型库中下载指定的 DeepSeek 模型到本地

windows系统默认下载地址：C:\Users\用户\.ollama

linux系统默认下载地址：/root/.ollama/models

无网环境可以先在本地下载，再把models上传到服务器

2、查看模型列表

ollama list

通过以上步骤，你就可以将本地的 DeepSeek 模型上传到服务器并在 Ollama 中使用

三、安装Docker 和 Docker Compose

1、Dify 推荐使用 Docker 进行部署，因此需要先安装 Docker 和 Docker Compose

离线包

docker-27.5.1.tgz 链接：https://pan.baidu.com/s/12p8QXCpY-Ca3Fa9vmn1tCA?pwd=mkrl

docker-compose-linux-x86_64 链接：https://pan.baidu.com/s/1ZqAArTjDIs3O33tiE2SvrQ?pwd=lqoo

上传目标服务器，解压 Docker 压缩包

tar -xzvf /docker-27.5.1.tgz -C /usr/local/bin/

这里假设将 Docker 二进制文件解压到 /usr/local/bin 目录，该目录通常在系统的 PATH 环境变量中。
2、创建一个 systemd 服务文件来管理 Docker 服务。使用以下命令创建并编辑 docker.service 文件

sudo vim /etc/systemd/system/docker.service

在文件中添加以下内容：

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target

[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues still
# exists and systemd currently does not support the cgroup feature set required
# for containers run by docker
ExecStart=/usr/local/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always

# Note that StartLimit* options were moved from "Service" to "Unit" in systemd 229.
# Both the old, and new location are accepted by systemd 229 and up, so using the old location
# to make them work for either version of systemd.
StartLimitBurst=3

# Note that StartLimitInterval was renamed to StartLimitIntervalSec in systemd 230.
# Both the old, and new name are accepted by systemd 230 and up, so using the old name to make
# this option work for either version of systemd.
StartLimitInterval=60s

# Having non-zero Limit*s causes performance problems due to accounting overhead
# in the kernel. We recommend using cgroups to do container-local accounting.
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity

# Comment TasksMax if your systemd version does not support it.
# Only systemd 226 and above support this option.
TasksMax=infinity

Delegate=yes

# kill only the docker process, not all processes in the cgroup
KillMode=process

[Install]
WantedBy=multi-user.target

3、重新加载 systemd 管理器配置，设置开机自启：

sudo systemctl daemon-reload

启动 Docker 服务

sudo systemctl start docker

设置 Docker 服务开机自启

sudo systemctl enable docker

使用以下命令验证 Docker 是否安装成功

sudo docker version

4、安装Docker Compose，上传至服务器/usr/local/bin 目录，在目标服务器上，为 docker-compose 文件赋予执行权限

sudo chmod +x /usr/local/bin/docker-compose

使用以下命令验证 Docker Compose 是否安装成功

docker-compose version

四、安装dify

参考链接提示https://mp.weixinbridge.com/mp/wapredirect?url=https%3A%2F%2Fdocs.dify.ai%2Fzh-hans%2Fgetting-started%2Finstall-self-hosted%2Fdocker-compose&action=appmsg_redirect&uin=MTQ1NTQ2NDYxNQ%3D%3D&biz=MjM5ODYwMjI2MA==&mid=2649790882&idx=1&type=1&scene=0

下载dify安装包

git clone https://github.com/langgenius/dify.git

进入 Dify 源代码的 Docker 目录

cd dify/docker

复制环境配置文件

cp .env.example .env

启动 Docker 容器

docker-compose up -d

运行命令后，你应该会看到类似以下的输出，显示所有容器的状态和端口映射：

[+] Running 11/11
 ✔ Network docker_ssrf_proxy_network  Created                                                                 0.1s 
 ✔ Network docker_default             Created                                                                 0.0s 
 ✔ Container docker-redis-1           Started                                                                 2.4s 
 ✔ Container docker-ssrf_proxy-1      Started                                                                 2.8s 
 ✔ Container docker-sandbox-1         Started                                                                 2.7s 
 ✔ Container docker-web-1             Started                                                                 2.7s 
 ✔ Container docker-weaviate-1        Started                                                                 2.4s 
 ✔ Container docker-db-1              Started                                                                 2.7s 
 ✔ Container docker-api-1             Started                                                                 6.5s 
 ✔ Container docker-worker-1          Started                                                                 6.4s 
 ✔ Container docker-nginx-1           Started                                                                 7.1s

最后检查是否所有容器都正常运行：

docker compose ps

通过这些步骤，你应该可以成功在本地安装 Dify。

访问Dify，你可以先前往管理员初始化页面设置设置管理员账户：

http://your_server_ip/install

Dify 主页面：

http://your_server_ip

备注：无网环境，可以在有网环境下根据dify/docker/docker-compose.yaml文件中的容器版本先下载依赖，再上传至服务器，在该文件夹下执行docker-compose up -d 启动容器

五、Dify创建应用

访问dify链接进入dify、

首次进入初始化设置账号密码
点击 Dify 平台右上角头像 → 设置 → 模型供应商，选择 Ollama，轻点“添加模型”
在配置 url 时，因为是 docker 服务，http://localhost:11434 存在无法访问的情况，可以尝试http://host.docker.internal:11434
至此，可以开始创建应用，在主页选择全部 -> 创建空白应用 -> 填入应用信息即可