Docker 重磅更新！无需配置复杂环境就能轻松管理和运行AI大模型，小白也能轻松拿捏！！

前言

Docker 在其最新的 4.40 版本中引入了 Docker Model Runner 功能，使在本地环境中运行 AI 模型变得简单和便捷。

当前平台支持情况：目前，Docker Model Runner 仅在搭载 Apple Silicon 芯片（M 系列）的 Mac 设备上可用。Windows 平台的支持已在 Docker 的开发路线图上，将在未来版本中推出。正如官方所述：“Soon, this will also be available on Windows.”

这项功能的推出标志着 Docker 向 AI 开发领域迈出了重要一步，为开发者提供了一种无需配置复杂环境就能轻松管理和运行大型语言模型的方式，同时避免了对外部云服务的依赖。

可用命令整理

查看 Model Runner 状态

检查 Docker Model Runner 是否处于活动状态：

docker model status

查看所有命令

显示帮助信息和可用子命令列表：

docker model help

输出：

Usage:  docker model COMMAND

Commands:
  list        列出本地可用的模型
  pull        从 Docker Hub 下载模型
  rm          删除已下载的模型
  run         以交互方式或使用提示运行模型
  status      检查模型运行器是否正在运行
  version     显示当前版本

拉取模型

从 Docker Hub 拉取模型到本地环境：

docker model pull <model>

示例：

docker model pull ai/deepseek-r1-distill-llama

输出：

Downloaded: 257.71 MB
Model ai/deepseek-r1-distill-llama pulled successfully

列出可用模型

列出当前拉取到本地环境的所有模型：

docker model list

您将看到类似以下内容：

MODEL       PARAMETERS  QUANTIZATION    ARCHITECTURE  MODEL ID      CREATED     SIZE
ai/deepseek-r1-distill-llama  361.82 M    IQ2_XXS/Q4_K_M  llama         354bf30d0aa3  1 days ago  256.35 MiB

运行模型

运行模型并使用提交的提示或聊天模式与其交互。

一次性提示

docker model run ai/deepseek-r1-distill-llama "Hi"

输出：

Hello! How can I assist you today?

交互式聊天

docker model run ai/deepseek-r1-distill-llama

输出：

Interactive chat mode started. Type '/bye' to exit.
> Hi
Hi there! It's SmolLM, AI assistant. How can I help you today?
> /bye
Chat session ended.

删除模型

从系统中移除已下载的模型：

docker model rm <model>

输出：

Model <model> removed successfully

使用 Rest 端点

从 Docker Desktop GUI 或通过 Docker Desktop CLI 启用主机端 TCP 支持。

使用 docker desktop enable model-runner --tcp <port>。

之后，可以使用 localhost 和所选或默认端口与其交互：

curl http://localhost:12434/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/deepseek-r1-distill-llama",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Please write a summary about Docker."
            }
        ]
    }'

LangChain4j 调用 Docker Model

LangChain4j[1] 是一个 Java 框架，用于构建基于大型语言模型 (LLM) 的应用程序。它为 Java 开发人员提供了与各种 LLM 交互的简单方式，类似于 Python 世界中流行的 LangChain 库。

设置步骤

1. 确保 Docker Model Runner 已启用

在 Docker Desktop 中确保 Model Runner 功能已启用（见前文）。

2. 添加 LangChain4j 依赖

在您的 Java 项目的pom.xml文件中添加以下依赖：

<dependencies>
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j</artifactId>
        <version>1.0.0-beta2</version>
    </dependency>
    <dependency>
        <groupId>dev.langchain4j</groupId>
        <artifactId>langchain4j-open-ai</artifactId>
        <version>1.0.0-beta2</version>
    </dependency>
</dependencies>

3. 拉取并运行所需模型

使用前文介绍的命令拉取模型：

docker model pull ai/deepseek-r1-distill-llama

4. 配置 LangChain4j 连接到本地模型

创建一个配置类来连接到 Docker Model Runner：

import dev.langchain4j.model.chat.ChatLanguageModel;
import dev.langchain4j.model.openai.OpenAiChatModel;

public class ModelConfig {

    public ChatLanguageModel chatLanguageModel() {
        return OpenAiChatModel.builder()
                .baseUrl("http://localhost:12434/engines/llama.cpp/v1")
                .modelName("ai/deepseek-r1-distill-llama")
                .temperature(0.7)
                .build();
    }
}

示例应用

下面是一个使用 LangChain4j 与 Docker Model Runner 的简单示例：

public classDockerModelExample {

    interfaceAssistant {
        String chat(String message);
    }

    publicstaticvoidmain(String[] args) {
        // 创建模型配置
        ModelConfigconfig=newModelConfig();
        ChatLanguageModelmodel= config.chatLanguageModel();
        
        // 创建 AI 服务
        Assistantassistant= AiServices.builder(Assistant.class)
                .chatLanguageModel(model)
                .build();
        
        // 进行对话
        Stringresponse= assistant.chat("用 Java 编写一个简单的 Hello World 程序");
        System.out.println(response);
    }
}

总结

提起来 Docker Model Runner ,那必须要与 Ollama 的对比，这两个工具都致力于简化本地 AI 模型的运行管理，但在技术实现和适用场景上存在显著差异。Docker Model Runner 深度集成于 Docker 生态，而 Ollama 则是独立的模型运行工具。

特性	Docker Model Runner	Ollama
开发状态	Beta，2025 年 4 月 1 日仍在测试	成熟开源工具，已广泛使用
操作系统支持	主要支持 macOS（Apple Silicon），Windows NVIDIA 即将支持	macOS、Linux、Windows，跨平台支持更广
模型来源	从 Docker Hub 拉取，缓存本地	支持官方库和自定义导入（如 GGUF），更灵活
定制能力	暂未公布构建模式	通过 Modelfile 支持深度定制，功能更强
API 集成	OpenAI 兼容 API，适合 Docker 生态	REST API 和 Python 库，集成更广泛
易用性	适合 Docker 用户，CLI 集成紧密	独立工具，适合非 Docker 用户，界面更简单

最后的最后

感谢你们的阅读和喜欢，作为一位在一线互联网行业奋斗多年的老兵，我深知在这个瞬息万变的技术领域中，持续学习和进步的重要性。

为了帮助更多热爱技术、渴望成长的朋友，我特别整理了一份涵盖大模型领域的宝贵资料集。

这些资料不仅是我多年积累的心血结晶，也是我在行业一线实战经验的总结。

这些学习资料不仅深入浅出，而且非常实用，让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习，相信它们一定能为你提供实质性的帮助。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】