Phi-4 模型部署

最新推荐文章于 2025-02-28 23:59:27 发布
最新推荐文章于 2025-02-28 23:59:27 发布
阅读量1.5k 收藏 25
点赞数 19
文章标签： python java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43905308/article/details/145576374
版权

注意: 请确认你的 Windows 版本支持 WSL2，且满足 GPU 透传（如果要启用 GPU 加速）所需的最低要求。

0. 前置说明

  • 适用场景：

    1. 你在 Windows 主机上启用了 WSL2（基于 Ubuntu 20.04/22.04 等）。
    2. 你想在 WSL2 Ubuntu 中部署并运行微软的 Phi-4 14B 参数量开源模型，用于本地推理。
    3. 你可以接受命令行操作，并对 Linux 系统有基本的理解。

  • GPU 加速与否：

    • CPU-only 模式不需要任何 GPU 驱动或 CUDA 工具链，但推理速度会相对较慢。
    • GPU 加速 在 WSL 中，需要 Windows 主机安装对应的显卡驱动和 WSL CUDA 支持。请先查阅 NVIDIA Docs 或 WSL 官方说明 进行安装配置。
    • 下文主要会介绍如何在 WSL Ubuntu 下启用 GPU，但若你不具备满足条件的显卡或对应驱动，也可略过相关步骤，只做 CPU 推理。

1. 启用并配置 WSL 环境

1.1 启用 WSL2

为什么要做这一步？
在 Windows 上能用 Ubuntu，需要先开启 WSL 功能，并升级到 WSL2 才能使用 GPU 透传。

  1. 在 Windows Powershell（以管理员身份）输入：
    dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
wsl --set-default-version 2
  2. 重启计算机后，在 Microsoft Store 或者官网下载 Ubuntu WSL 应用。
  3. 安装完成后，打开 Ubuntu（WSL），创建用户名和密码。

1.2 （可选）配置 GPU 透传

为什么要做这一步？
如果你需要使用 NVIDIA GPU 加速，在 WSL 内进行 CUDA 推理，这一步是必要的。

  1. 在 Windows 主机上安装最新的 NVIDIA 驱动

    • 可通过 NVIDIA 官网 下载驱动。
    • 安装完成后确保 nvidia-smi 在 Windows PowerShell 中能正常执行。

  2. 在 Ubuntu（WSL）下安装 CUDA 工具包

    # Ubuntu 20.04/22.04 示例
sudo apt update
sudo apt install -y build-essential
# 添加 NVIDIA CUDA 仓库 (以 11.8 为例，可根据自己需求更换)
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda
    • 安装完成后，执行 nvidia-smi 或 nvcc -V 检查是否成功。
    • 如果在 WSL 里运行 nvidia-smi 输出了 GPU 信息，说明 GPU 透传成功。

2. 安装必要的依赖与工具

2.1 更新并安装基础包

为什么要做这一步？
保障后续编译/运行各种推理框架或模型管理工具时不会缺少依赖，减少出错率。

sudo apt update
sudo apt upgrade -y
# 安装常见开发与网络工具
sudo apt install -y git curl wget build-essential \
                    cmake python3 python3-pip \
                    libssl-dev libffi-dev

2.2 （可选）安装 Docker (如果需要容器部署)

为什么需要 Docker？
Docker 能让你打包部署环境，便于分发与版本管理。不过在 WSL 下使用 GPU 需要额外配置 docker-desktop 的 GPU 支持，比较复杂。如果你想更简单，可以跳过 Docker，直接在 WSL 下裸跑。

# 若仅想在WSL里装docker客户端，需要配合Windows上的docker desktop
# 也可以参考官方文档: https://docs.docker.com/engine/install/ubuntu/
sudo apt-get remove docker docker-engine docker.io containerd runc
sudo apt-get update
sudo apt-get install -y ca-certificates gnupg lsb-release

sudo mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg \
    | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg

echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] \
   https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" \
  | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io

# 建议把当前用户添加到docker组
sudo usermod -aG docker $USER
newgrp docker

3. 选择并安装推理框架

你有多种方式加载 Phi-4：

  • llama.cpp / text-generation-webui / GPTQ-for-LLaMa / Ollama
  • 这里我们示范比较通用、易扩展的 text-generation-webui，也能配合多种量化模型；以及llama.cpp 的轻量级方案。

3.1 text-generation-webui 方案

为什么使用 text-generation-webui？

  • 提供网页界面+API接口，调试、查看与调用都很方便。
  • 对多种模型格式（GPTQ, GGML, bitsandbytes 8bit/4bit）都有支持。

3.1.1 安装 webui

# 进入家目录
cd ~
# 克隆仓库
git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui
# 建议创建 Python 虚拟环境
python3 -m venv venv
source venv/bin/activate

# 安装依赖时可指定一些适配GPU的参数
pip install --upgrade pip setuptools
pip install -r requirements.txt
# 若需要GPU 4bit加载, 会安装bitsandbytes等依赖

3.1.2 下载 Phi-4 模型

为什么单独下载？
webui 并不会自动拉取所有模型，需要你手动下载到 models/ 文件夹或使用其脚本。

  • 方式 1：直接用 webui 提供的下载脚本
    许多模型有自动下载脚本，但 Phi-4 可能是新模型，脚本不一定收录。可以尝试：

    # 在webui目录下
cd text-generation-webui
python download-model.py phi-4

    如果不成功，可查看 webui 文档如何自定义下载链接。

  • 方式 2：从 Ollama 或其他第三方提供的链接获取
    如果社区已有 phi4-ggml-q4_0.bin 或者 phi4-ggml-q4_K_M.bin 等量化文件，你可以：

    wget <模型下载直链> -O phi4-ggml-q4_K_M.bin
mkdir -p models/Phi-4
mv phi4-ggml-q4_K_M.bin models/Phi-4/

    有时文件会比较大(几GB)，请耐心等待。

3.1.3 启动 webui 并进行测试

cd ~/text-generation-webui
source venv/bin/activate
# 最简单启动
python server.py --model "Phi-4"

# 常见可选参数:
# --wbits 4 (指定 4bit 量化)
# --model_type llama (让webui知道它是兼容LLaMA结构)
# --listen 0.0.0.0 (允许局域网访问)
# --auto-devices (自动选择CPU/GPU)

  • 为什么这些参数重要？

    • --wbits 4：如果下载的量化版本是 4bit，需要显式声明以确保正确加载。
    • --model_type llama：有些 LLaMA 结构衍生模型（Phi-4 也类似）在 webui 中需这个标记才能正确处理 tokenizer 等。
    • --listen 0.0.0.0：默认只允许本机访问，如果你想用浏览器从 Windows 端访问，需要监听 0.0.0.0 并记住 WSL 分配的端口。

  • 测试

    1. 在浏览器中输入：http://localhost:7860（或你在 server.py 显示的端口），可以看到一个界面。
    2. 输入文本测试，观察推理速度和输出。

3.2 llama.cpp 方案（更轻量）

为什么 llama.cpp？

  • 性能轻量，C++ 实现；在 WSL CPU 或 Apple Silicon 上都有很好的社区支持。
  • 适合只做简单推理，不需要花哨的 WebUI。

3.2.1 安装编译 llama.cpp

cd ~
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
# 编译
make

3.2.2 准备 Phi-4 GGML 模型

  • 假设你已有 phi4-ggml-q4_k_m.bin。
  • 创建文件夹并放进去：
    mkdir -p ~/llama.cpp/models/phi4
mv /path/to/phi4-ggml-q4_k_m.bin ~/llama.cpp/models/phi4/

3.2.3 运行推理测试

cd ~/llama.cpp
./main -m models/phi4/phi4-ggml-q4_k_m.bin -p "Hello, can you introduce yourself?" -n 200
  • -p 指定 prompt，-n 指定输出的 token 上限。
  • 如果可以正常输出，就代表部署成功。

4. 将 Phi-4 部署为“服务”并对外提供 API

为什么要这么做？
手动在命令行里跑还不够实用，多数场景要以 HTTP API 形式供前端或其他业务系统调用。

4.1 在 text-generation-webui 中启用 API

在 server.py 启动时加上 --api 参数，比如：

cd ~/text-generation-webui
source venv/bin/activate
python server.py --model "Phi-4" --wbits 4 --model_type llama --api --listen 0.0.0.0
  • 调用示例：
    curl -X POST http://localhost:7860/run/textgen \
 -H 'Content-Type: application/json' \
 -d '{
       "data": [
         "Hello, how are you today?"
       ]
     }'
    返回的 JSON 中就包含模型的回复。

4.2 在 llama.cpp 中使用服务器模式（C++ HTTP 服务器）

llama.cpp 原生也有简易的服务器模式，可以参考仓库中的 server 分支或社区贡献的 REST API 工具。
如果没有内置 HTTP 服务器，你可以自己封装 Python/C++ 代码，把 llama.cpp 的推理能力暴露成 REST 接口。

5. 性能与资源检查

为什么要专门监控？
大模型推理极易消耗 CPU/GPU/内存，尤其是 14B 级模型。长时间运行后若资源不足会导致 OOM 或系统卡死。

  1. 系统资源

    # 查看WSL内存与CPU占用
htop
free -h
nvidia-smi  # GPU资源使用

  2. 推理速度

    • text-generation-webui 会在日志里显示 xx tokens/s。
    • 如果速度过慢，可使用更低比特量化、缩短上下文大小等方法提升。

  3. 并发请求

    • 一般情况下，单实例大模型推理并不擅长处理高并发；可在后端做请求队列或限流。
    • 如果业务量大，需要分布式或多机多卡扩容。

6. 常见问题与解法

  1. 问题：GPU 加速不起作用，实测速度跟 CPU 差不多

    • 可能原因：WSL CUDA 未正确安装，或者 text-generation-webui/llama.cpp 版本还不支持 GPU offloading，你使用的量化方式也影响 GPU 调用。
    • 解决：确保 nvidia-smi 在 WSL 内可用；使用支持 GPU offload 的分支，比如 llama.cpp CUDA fork 或 webui 的 --gpu 参数。

  2. 问题：内存不足，加载模型时报错

    • 可能原因：14B 模型在 4-bit 量化下仍可能需要数GB内存；如果上下文开太大(16k)，内存飙升。
    • 解决：换更低量化（Q4_0 → Q2/K？），或缩减上下文窗口，或升级内存到 32GB 以上。

  3. 问题：长上下文退化，回答不一致

    • 可能原因：Phi-4 虽标称支持16k tokens，但仍会有记忆衰减或混乱现象。
    • 解决：考虑检索增强 (RAG)、分块上下文、或者将历史对话压缩/总结后再传给模型。

  4. 问题：中文或其他语言效果不好

    • 原因：Phi-4 主要针对英文优化，对于多语言可能不如专门的多语种模型。
    • 解决：如果中文需求强烈，考虑换 ChatGLM 或其他专门中文模型，或二次微调 Phi-4。

7. 后续优化与生产级实践

  1. 微调 (Fine-tuning)

    • 可对领域数据做 LoRA / PEFT 微调，让 Phi-4 更贴合特定业务需求。
    • 在 WSL Ubuntu 上，需安装 transformers, peft 等 Python 库，按照相应教程操作。

  2. 容器化 & CI/CD

    • 如果你希望多人协作开发或在服务器集群上快速部署，可将 webui + Phi-4 + 依赖打包进 Docker，并在 CI/CD 中自动构建镜像，推送到私有仓库。

  3. 监控 & 日志

    • 建议整合 Prometheus + Grafana 或 ELK Stack，实时监控 GPU/CPU 占用、接口调用量、推理响应时长等。

  4. 安全合规

    • 对生产环境开放的接口，要做请求鉴权和内容审查 (Prompt Filtering + Output Filtering)，避免被滥用或生成违规信息。

8. 完整命令示例（集合版）

以下示例假设：

  • 你已在 WSL (Ubuntu 20.04) 中，并启用了 GPU 透传；
  • 你想使用 text-generation-webui 来运行 Phi-4；
  • 你打算先尝试 4-bit 量化 Q4_K_M 模型；
  • 你要以 API 的形式对外提供服务。
# 1. 更新系统并安装依赖
sudo apt update && sudo apt upgrade -y
sudo apt install -y build-essential git python3 python3-pip cmake

# 2. (可选)安装 CUDA(略, 参考NVIDIA官方文档) 并验证 nvidia-smi

# 3. 克隆并安装 webui
cd ~
git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

# 4. 下载Phi-4模型(假设你已经获取了直链或者自己准备好模型文件)
# 这里演示把模型放到 models/Phi-4/ 下
mkdir -p models/Phi-4
cd models/Phi-4
wget https://<somewhere>/phi4-ggml-q4_k_m.bin
cd ../..

# 5. 运行webui并启用API
source venv/bin/activate
python server.py --model "Phi-4" \
                 --model_type llama \
                 --wbits 4 \
                 --api \
                 --listen 0.0.0.0 \
                 --auto-devices

# 6. 在另一个WSL终端 或 Windows主机浏览器测试
# 浏览器访问  http://<WSL_IP>:7860  可交互对话
# 或者发起API请求:
curl -X POST http://<WSL_IP>:7860/run/textgen \
     -H 'Content-Type: application/json' \
     -d '{"data": ["Hello, can you tell me what is Phi-4?"]}'
比松
关注
微软公司的创新：Phi - 3.5 模型本地体验、推理及微调指南
寻道AI，探索AI无限可能！
09-23 1197
在当今这个人工智能技术日新月异的时代，每一次模型创新都可能对行业格局产生深远影响。微软公司推出的 Phi - 3.5 系列模型犹如一颗闪耀的新星，在人工智能的浩瀚星空中崭露头角。它以其独特的设计和卓越的性能，为解决复杂的实际问题提供了新的思路和方法。
微软Phi-4系列开源：多模态与文本处理的创新突破
最新发布
zhangjiaofa的专栏
03-06 90
该模型在语音问答 (QA) 任务上与 Gemini-2.0-Flash 和 GPT-4o-realtime-preview 等接近的模型存在差距，因为模型尺寸较小导致保留事实 QA 知识的能力较弱。尽管规模较小，但该模型在一般多模态能力（如文档和图表理解、光学字符识别 (OCR) 和视觉科学推理）方面仍保持着竞争性的表现，与 Gemini-2-Flash-lite-preview/Claude-3.5-Sonnet 等接近的模型相当或超过它们。Phi-4-multimodal 能够同时处理视觉和音频。
微软最新轻量级、多模态Phi-3.5-vision-instruct模型部署
m0_71062934的博客
09-02 1103
Phi-3.5-vision-instruct模型是一款微软推出的Phi-3.5系列模型中集成了文本和图像处理能力的多模态AI模型。 Phi-3.5-vision-instruct拥有42亿参数，并支持128K Token的上下文长度，特别适合处理复杂的多帧视觉任务。 Phi-3.5-vision-instruct模型在图像理解、光学字符识别、图表与表格分析，以及视频摘要等任务中表现出色，并在MMMU、MMBench和TextVQA等基准测试中展现了优异的性能。 随着多模态模型的重要性日益增加，预计Phi-
在算力魔方上本地部署Phi-4模型
2401_83179994的博客
01-20 495
Llama3.370B模型的发布，标志着开源AI模型在智能水平上的一大飞跃。它不仅达到了之前只有Llama3.1405B模型才具备的智能水平，而且还超越了11月发布的GPT-4o模型。通过选择不同算力的计算模块，再搭配不同的IO模块可以组成丰富的配置，适应不同场景。本文我们将分享微软刚刚发布的Phi-4模型，其模型参数只有14B，是Llama3.370B的五分之一，但性能却跟Llama3.370B模型差不多，甚至在。本文将分享Phi-414B模型在算力魔方4060版上的部署过程。
微软首个多模态Phi-4问世，56亿参数秒杀GPT-4o！LoRA华人大佬带队
阿木寺的博客
02-28 121
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：新智元 ｜编辑：编辑部 HNYs【导读】Phi-4系列模型上新了！56亿参数Phi-4...
微软发布 Phi-4 迷你模型,适合本地部署ChatBot
weixin_41446370的博客
02-28 1622
Phi-4-mini-instruct是一个轻量级的开放模型，它建立在合成数据和经过筛选的公开网站基础上，重点关注高质量、推理密集的数据。该模型属于 Phi-4 模型系列，支持 128K 标记上下文长度。该模型经历了一个增强过程，包含了监督微调和直接偏好优化，以支持精确的指令遵循和稳健的安全措施。
微软开源大模型Phi-4技术报告解读
强化学习曾小健
01-11 1000
对长法律文档进行摘要。在这些任务中，Phi-4在8K和16K上下文长度下均表现出色，尤其是在召回和RAG任务中表现尤为突出。
微软发布Phi-4，最强小模型！参数极小、超GPT-4o
weixin_35962894的博客
01-11 306
而在美国数学竞赛AMC的测试中，Phi-4达到了惊人的91.8分，再次超过了GeminiPro 1.5、GPT-4o、Claude 3.5 Sonnet、Qwen 2.5等知名开闭源模型，甚至整体性能可以与4050亿参数的Llama-3.1相媲美。但在GPQA研究生水平、MATH数学基准中，分别达到了56.1和80.4超过了GPT-4o，同时也超过了同类型的开源模型Qwen 2.5 -14B和Llama-3.3-70B。Phi系列模型自今已经发布了5代，Phi-4也延续了之前的小参数模式只有140亿。
（超详细)AI大模型部署安装,傻瓜式安装配置步骤，解决一切问题
大模型研究中心
09-25 7582
Rerankers是Github上支持rerank模型本地化的一个开源项目，支持不同类型的rerank模型，比如transformer-based, API-based，RankGTP等。我理解transformer-based cross-encoder类型的模型是主流，所以后续采用的也是这种。我了解有限，建议参考github项目文档了解更全面的信息。
微软震撼发布：Phi-4语言模型登陆Hugging Face
llm_way的博客
01-15 1666
近日，微软公司在Hugging Face平台上正式发布了其最新的语言模型Phi-4，这一发布标志着人工智能技术的又一重要进步。Phi-4模型以其140亿参数的高效配置，在复杂推理任务中表现出色，特别是在数学领域，更是展现出了卓越的能力。本文将详细介绍Phi-4模型的背景、特点、应用场景以及其在Hugging Face平台上的开源意义。
Phi-3 模型手机部署教程（微软发布的可与GPT-3.5媲美的小模型）
老牛啊
06-23 2040
Phi 是微软AI研究院新推出的开源小型语言模型，适用于商业使用，其优势在于体积小、资源需求少，被称为“一个能跑在手机上的大模型”，我们通过Termux和Ollama工具，在我们手机上部署和体验……
微软开源 phi-4 模型：14B 参数，性能超越 GPT-4o
weixin_51674085的博客
01-09 434
在各种基准测试中，phi-4 对比同参数量的模型表现优异，甚至在 GPQA 和 MATH 基准测试中超过了 GPT-4o。这个模型最初于去年 12 月 12 日发布，现在竟然直接开源了，并且基于 MIT 协议，可商用。是微软刚刚开源的最强小参数模型，其参数仅为 14B。
微软 “小钢炮” ：Phi-4 - 合成数据驱动的大模型复杂推理
EnjoyEDU的博客
01-18 819
近段时间 LLM 界一直沉浸在 DeepSeek-V3 所带来的震撼中，这个模型开源也就罢了，效果还好。但是，这种超大型的 LLM 不是我们能玩得起的（显存 hold 不住啊）。玩不起这个，那么就看看与此同时微软开源的小型 LLM Phi-4，只有 14B 参数，却敢主打推理能力，都不算是“小钢炮”了，简直就是“意大利炮”。下面咱们来简要的盘一盘。Phi-4 是微软 Phi 系列 SLM 的最新成员，在数学相关推理方面优于同类和更大的模型，得益于训练过程中使用的数据、训练前后的方案。
Phi-4-微软推出的14B参数小语言模型，擅长数学等领域的复杂推理
AI先锋的博客
12-16 998
Phi-4 是一种先进的技术平台，主要用于先进的数据处理和分析。简单来说，它能够帮助我们更高效地处理和分析大量信息，这在当今这个信息爆炸的时代显得尤为重要。想象一下，我们每天都接收到海量的数据，这些数据来自于社交媒体、传感器、交易记录等各个方向。Phi-4 就像一个强大的工具，可以帮助用户从这些混乱的数据中提取有用的信息，从而做出更智能的决策。
极客说｜微软新模型：Phi-4 来了
微软技术栈
12-27 3561
作者：魏新宇 - 微软 AI 全球黑带高级技术专家「极客说」 是一档专注 AI 时代开发者分享的专栏，我们邀请来自微软以及技术社区专家，带来最前沿的技术干货与实践经验。在这里，您将看到深度教程、最佳实践和创新解决方案。关注「极客说」，与行业顶尖专家一起探索科技的无限可能！Phi-4 在仅有 140 亿（14B） 个参数的情况下，通过创新的训练方法和高质量的数据，展现出了媲美甚至超越一些更大规模模型的性能。本文将详细介绍 Phi-4 的架构、特点、训练方法，以及在实际应用和评测基准中的表现。
微软：Phi-4技术报告
大模型任我行的博客
12-19 1035
如何通过创新的数据生成和训练方法，提升小型语言模型在推理和问题解决任务中的性能，使其能够与更大规模的模型相媲美？论文提出了phi-4模型，通过创新的合成数据生成方法、优化训练流程和数据混合，以及引入新的后训练技术，显著提升了模型在推理任务中的表现。
微软Phi-4开源，14B的王~
AIBigModel的博客
01-10 904
Phi-4参数规模14B，效果非常好，超过Qwen2.5-14B，甚至超过70B的大模型Llama3.3 70B、Qwen2.5 72B，在某些方面超过GPT-4o，赶紧下载run起来~微软Phi-4模型今天终于开源了，新鲜出炉的，hf上可以下载~来源 | PaperAgent。
PyTorch强化学习——PyTorch基础详解
AAI666666的博客
02-02 1626
我们将使用 PyTorch 作为实现强化学习算法的数值计算库。PyTorch 是 Facebook 开发的科学计算和机器学习库，张量 (Tensor) 是 PyTorch 中的核心数据结构，类似于 NumPy 中的 ndarray。
ollma本地部署大模型
01-25
### 本地部署 OLLAMA 大型模型 #### 设置环境变量 为了配置OLLAMA的运行参数，在启动之前需定义几个重要的环境变量。这些变量控制着服务的行为以及资源的位置。 - `OLLAMA_HOST` 定义了服务器监听的IP地址，默认情况下设置为 `127.0.0.1`，意味着仅接受来自本机的连接请求[^1]。 - `OLLAMA_ORIGINS` 设定了哪些域名可以发起跨域资源共享(CORS)请求。对于内部网络中的应用来说，通常会将其设为星号(`*`)表示允许所有来源访问。 - `OLLAMA_MODELS` 指明了存储预训练好的大型语言模型文件夹位置。考虑到默认路径下的磁盘空间可能不足以容纳庞大的模型数据集，建议更改此值指向具有更大容量的空间。 ```bash export OLLAMA_HOST=0.0.0.0 export OLLAMA_ORIGINS="*" export OLLAMA_MODELS=/mnt/data/ollama_models/ ``` #### 使用 Docker 进行安装与初始化 推荐采用Docker容器来简化整个过程并确保依赖项的一致性。按照官方文档指示拉取最新的镜像版本，并执行必要的初始化操作以准备就绪的状态等待后续调用。 ```bash docker pull ollama/ollama:latest docker run -d --name ollama_service \ -e OLLAMA_HOST=$OLLAMA_HOST \ -e OLLAMA_ORIGINS=$OLLAMA_ORIGINS \ -e OLLAMA_MODELS=$OLLAMA_MODELS \ -v $OLLAMA_MODELS:/models \ -p 8080:8080 ollama/ollama:latest ``` #### 启动特定的大规模预训练模型实例 一旦基本的服务框架搭建完成之后，就可以根据实际需求加载不同的大规模预训练模型来进行推理计算工作了。例如： - 对于 Llama3 的8B参数量级变体，可以通过如下指令快速上线： ```bash ollama run llama3:8b ``` - 若要激活 Phi3 版本，则只需简单输入下面这条命令即可实现自动化部署流程[^2]: ```bash ollama run phi3 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值