[特殊字符] 当Docker遇上大模型：本地运行LLM的奇幻漂流 [特殊字符]-CSDN博客

本文链接：https://blog.csdn.net/LLM88888888/article/details/147332572

🔍 你绝对没听过的Docker新玩法！

使用Docker在本地运行大型语言模型(LLMs)？没错，这不是科幻小说！Docker现在不仅能跑容器，还能通过Docker Model Runner让你和LLM来场"面对面"聊天~

💡 开发者们注意啦！GenAI开发再也不是高门槛游戏了。Docker又一次施展魔法，把复杂的AI模型变得像"docker run"一样简单！

✨ Docker Model Runner的四大超能力

🧑‍💻 开发者友好
- 告别工具链混乱！用熟悉的Docker命令就能玩转AI模型
- 学习曲线？不存在的~
⚡ GPU加速狂飙
- Apple Silicon用户福音！直接调用Metal API实现GPU加速
- llama.cpp在主机上火力全开
💾 OCI存储黑科技
- 模型不再塞进Docker镜像
- 采用行业标准OCI格式，省空间又高效
🔒 本地化隐私堡垒
- 再也不用担心云API的限速/天价账单
- 数据安全牢牢掌握在自己手中

🛠️ 准备工作：3步启动魔法引擎

安装Docker Desktop ≥v4.40 （Apple Silicon芯片的Mac专属福利哦~）
开启隐藏技能 设置 > Features in development里勾选：
- ✅ Enable Docker Model Runner
- ✅ Enable host-side TCP support（API功能需要）
验证安装 终端输入docker model，看到命令列表就说明准备就绪啦！

🎮 两种玩法任你选

玩法1️⃣：CLI聊天模式（适合新手）

# 拉取llama3.2模型（像拉镜像一样简单！）
docker model pull ai/llama3.2

# 启动对话模式
docker model run ai/llama3.2

输入/bye即可优雅退场~ ✌️

玩法2️⃣：API高级模式（OpenAI兼容）

🐳 容器内访问

基础URL：http://model-runner.docker.internal

curl http://model-runner.docker.internal/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ai/llama3.2",
    "messages": [
      {"role": "system", "content": "你是个毒舌助手"},
      {"role": "user", "content": "用四川话夸夸Docker"}
    ]
  }'

💻 主机访问

基础URL：http://localhost:12434

curl http://localhost:12434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "ai/llama3.2",
    "messages": [
      {"role": "system", "content": "你是个喵星人"},
      {"role": "user", "content": "用猫语解释Docker原理"}
    ]
  }'

🌟 响应示例（JSON格式）

{
  "model": "ai/llama3.2",
  "choices": [{
    "message": {
      "content": "Docker嘛，就像喵星人的纸箱子...",
      "role": "assistant"
    }
  }],
  "usage": {
    "prompt_tokens": 20,
    "completion_tokens": 87
  }
}