【AI大模型】DockerCompose部署Deepseek+Ollama+AnythingLLM实现自己专属的本地大模型

唧唧Java

已于 2025-02-12 18:14:54 修改

阅读量1.8k

点赞数 57

分类专栏： AI大模型文章标签：人工智能自然语言处理 llama docker

于 2025-02-12 17:59:45 首次发布

本文链接：https://blog.csdn.net/qq_40800519/article/details/145596456

版权

AI大模型专栏收录该内容

1 篇文章

订阅专栏

一.Docker和DockerCompose安装

请查看另一篇文章，Docker和Docker-Compose安装和卸载教程

Ollama是什么?

Ollama 是一个开源工具，能够简化大型语言模型（LLMs）在本地计算机上的运行和管理。
它由开发者社区创建，支持用户无需依赖云端服务即可直接部署和交互式使用多种开源模型（如Deepseek、 Llama2、Mistral、CodeLlama 等）

Deepseek是什么？

DeepSeek是杭州深度求索公司发布的一系列在知识类任务上表现出色的人工智能开源大模型。
DeepSeek的主要功能包括自然语言查询处理、代码生成、API和Web服务等。其核心特点在于其卓越的多语言编程能力、强大的上下文支持、高效的推理速度和开源策略。

AnythingLLM是什么？

AnythingLLM是由Mintplex Labs开发的一款私人ChatGPT开源工具，它允许用户利用现有的大语言模型（LLM）技术，构建属于自己的私人ChatGPT。
这款应用程序能够将任何文档、资源或内容片段转化为上下文，供LLM在聊天时作为参考使用。

二.Ollama安装部署

ollama-docker-compose.yml文件如下

version: '3.8'

services:
  ollama:
    container_name: ollama
    image: ollama/ollama:0.5.8
    ports:
      - "11434:11434"
    tty: true
    restart: unless-stopped

# 执行命令，完成容器启动
docker-compose -f ollama-docker-compose.yml up -d --force-recreate

在终端执行 docker ps | grep ollama，可以查看到容器已在运行
在网页查看 http://localhost:11434，可以看到Ollama已经运行中

三.Deepseek本地大模型部署

# 进入ollama容器
docker exec -it ollama bash

# 运行deepseek大模型，建议个人电脑部署较小参数的模型，比如1.5b或者7b
# 需要等待ollama下载大模型，需要一点时间
ollama run deepseek-r1:1.5b

以下是ollama官网推荐可部署的Deepseek-R1大模型版本
以下是启动完毕后，即可在终端进行对话交流；当前只在终端进行对话实在是太简陋了，后面安装AnythingLLM后就可以使用精美的Web页面进行对话了

四.AnythingLLM安装部署

anythingllm-docker-compose.yml文件如下

version: '3.8'

services:
  anythingllm:
    container_name: anythingllm
    image: mintplexlabs/anythingllm:1.4.0
    ports:
      - "3001:3001"
    environment:
      - STORAGE_DIR=/app/server/storage
    restart: unless-stopped

# 执行命令，完成容器启动
docker-compose -f anythingllm-docker-compose.yml up -d --force-recreate

登录AnythingLLM网页：http://localhost:3001
设置Ollama首选项，选择deepseek模型，并输入本地部署的Ollama地址（因为是容器部署，所以不能够是127.0.0.1或者localhost）
回到AnythingLLM的聊天页，就可以使用自己部署的本地大模型进行聊天啦，是不是成就感拉满了~