vLLM vs Ollama

于 2025-05-03 21:58:32 发布
阅读量411 收藏 10
点赞数 5
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iranw/article/details/147687747
版权

一、介绍

vLLM:VLLM（超大型语言模型）是SKYPILOT开发的推理优化框架，主要用于提升大语言模型在GPU上的运行效率。

Ollama:Ollama是一个本地大语言模型运行时环境，能简化开源AI模型的部署和使用流程。

二、特征对比

特征vLLMOIlama
推理速度（Inference Speed）极快，采用分页注意力(PagedAttention)优化速度快，但受硬件限制
内存效率（Memory Efficiency）出色，GPU 内存使用高效表现良好，但受本地内存限制
可扩展性（Scalability）为大规模人工智能部署设计针对本地或小规模使用优化 
安装难易度（Ease of Installation）需 Python 和 CUDA 设置简单
API 支持（API Support）支持 PyTorch、TensorFlow、REST API简单的命令行界面（CLI）和 API 
模型选择（Model Selection）可加载自定义模型。预打包模型 如: Llama/Mistral等
应用场景（Best Use Case）企业级应用部署本地实验 / 轻量级应用 
硬件要求（Ideal Hardware）高端GPU  如:A100/H100/RTX 4090消费级 GPU/M1/CPU/...
灵活性（Customization Flexibility）高，支持自定义微调低，预配置模型

三、应用场景

VLLM的最佳应用场景
  • 企业AI应用：如客户服务聊天机器人、AI驱动的搜索引擎等。
  • 云端高端GPU部署：适用于A100、H100、RTX 4090等高端GPU的云端大语言模型部署。
  • 模型微调与定制：方便进行模型微调和运行自定义模型。
  • 大上下文窗口需求：适用于对上下文窗口要求较高的应用。

不太适用的场景：个人笔记本电脑、日常AI实验。

Ollama的最佳应用场景
  • 本地设备运行：无需借助云资源，就能在Mac、Windows或Linux系统的设备上运行大语言模型。
  • 本地模型试验：不需要复杂的设置，就能在本地轻松试验各种模型。
  • 简易API集成：开发人员可以通过简单的API将AI功能集成到应用程序中。
  • 边缘计算应用：在边缘计算场景中表现出色。

不太适用的场景：大规模AI部署、高强度GPU计算任务。

文章来源：https://segmentfault.com/a/1190000046069903

iranw
关注
vLLM命令行使用方法详解
NLP与推荐算法
03-27 677
建议根据硬件配置（GPU 型号、显存大小）逐步优化关键参数（如批处理大小和显存利用率）。vLLM 是一个针对大语言模型（LLMs）优化的高效推理和服务库。生成的最大 token 数量（上下文长度 + 生成长度需小于模型限制）。输入文件路径，支持格式：每行一个提示文本，或 JSON 列表（如。GPU 显存利用率（0~1，默认 0.9，调整以避免 OOM）。GPU 张量并行数量（多卡推理时设置为 GPU 数量）。加载需要自定义代码的模型（如某些社区模型）。生成随机性（0=确定性，1=高随机）。
DeepSeek掘金——vLLM和ollama综合对比
03-03 3438
本文比较vllm和ollama在不同场景中的表现。我们将重点关注：资源利用率和效率、部署和维护的简易性、具体用例和建议、安全和生产准备、文档。欢迎来到我们深入研究 LLM 推理框架的最后一部分！在第一部分和第二部分中，我们分别探讨了 Ollama 和 vLLM，了解了它们的架构、功能和基本性能特征。现在到了决定性的一轮：面对面的比较，以帮助您根据特定需求选择合适的框架。这次比较并不是要宣布绝对的赢家——而是要了解哪种框架在不同场景中表现出色。让我们深入研究数据，看看我们的测试揭示了什么！🚀。
【AI实战】大模型 LLM 部署推理框架的 vLLM 应用
Zack的博客
07-18 9860
大模型 LLM 推理框架的 vLLM 应用
大模型推理指南：使用 vLLM 实现高效推理
探索云原生
11-21 2255
大模型推理有多种方式比如最基础的 HuggingFace TransformersTGIvLLM其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。根据 vLLM 官方博客所说：进行了 NVIDIA A10 GPU 上推理 LLaMA-7 B 和 在 NVIDIA A100 GPU（40 GB）上推理 LLaMA-13 B 两个实验，
vllm的使用方式，入门教程
kcarly的专栏
02-27 3052
vLLM是一个强大且易于使用的推理框架，适用于多种场景。通过上述步骤，您可以快速上手并开始使用vLLM进行大语言模型推理。如果遇到问题，可以参考官方文档或社区资源进行解决。全参数微调（Full-Parameter Fine-Tuning）vLLM支持对预训练模型进行全参数微调，以适应特定任务或数据集。这种方法通过调整所有模型参数来优化性能，适用于需要大量数据和计算资源的场景。LoRA是一种高效、快速且参数效率高的微调方法，特别适用于资源有限的环境，如移动应用或边缘设备。
简单使用vllm
make_progress的博客
10-22 2037
vLLM是一个快速且易于使用的LLM推理和服务库。它支持分布式部署、容器化部署和OpenAI的数据格式等，并且内置了大模型服务，可以直接用命令启动。vllm与Ollama有一定的区别，Ollama适合个人和小服务，vllm适合企业和提供服务，vllm的性能较高，并且并发性也较好。vLLM是一个Python库，它包含预编译的C++和CUDA（12.1）二进制文件，因此需要有GPU支持。
大模型推理工具：vLLM的入门使用
2401_84215165的博客
04-08 2万+
vLLM是一个快速且易于使用的LLM推理和服务库。最先进的服务吞吐量使用PagedNote有效管理注意力键和值内存传入请求的连续批处理使用CUDA/HIP图快速执行模型量化：GPTQ、AWQ、SqueezeLLM、FP8 KV缓存优化的CUDA内核与流行的拥抱脸模型无缝集成高吞吐量服务于各种解码算法，包括并行采样、波束搜索等分布式推理的张量并行性支持流式输出与OpenAI兼容的API服务器支持NVIDIA GPU和AMD GPU（实验性）前缀缓存支持。
大模型——VLLM vs. Ollama
最新发布
03-11 2305
在深入了解细节之前，让我们先了解这两个框架的核心目的。VLLM（超大型语言模型）是由 SKYPILOT 构建的推理优化框架，旨在提高在 GPU 上运行的 LLM 的效率。使用连续批处理快速生成令牌。通过 PagedAttention 实现高效的内存使用，允许处理大型上下文窗口而不会消耗过多的 GPU 内存。无缝集成到 AI 工作流中，兼容 PyTorch 和 TensorFlow 等主要深度学习平台。VLLM 被需要大规模高性能推理的 AI 研究人员和企业广泛使用。
gemma2 vllm和ollama推理部署；openai接口调用、requests调用
weixin_42357472的博客
06-29 943
参考：hl=zh-cn发布了两个型号9B\27B支持上下文长度有点短：4096。
部署DeepseekR1大模型一定要用vllm或者ollama吗，DeepseekR1大模型与vllm和ollama是什么关系
02-21
嗯，用户问的是部署Deepseek-R1大模型是否必须使用vLLM或者Ollama，以及它们之间的关系。我需要先弄清楚Deepseek-R1是什么模型，可能是一个特定的大语言模型，比如由深度求索公司开发的。然后要了解vLLM和Ollama的...
Ollama与Vllm使用对比与优劣
kcarly的专栏
02-13 2970
Ollama和vLLM是两个用于优化大型语言模型（LLM）推理的框架，它们在性能、资源利用率、部署复杂性等方面各有优劣。
使用 vLLM 部署本地 LLM 指南
spicy_chicken123的博客
01-24 3万+
我们输入以下命令启动服务器，–model 为本地模型的路径，–served-model-name 是模型在服务器中的别名，这里我们取简称 openchat，其他都是默认值，当然也可以自己设置。在这里我们不演示了，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，这使得 vLLM 可以用作使用 OpenAI API 的应用程序的直接替代品。当然，你也可以试一试 ChatCompletions 格式的请求，ChatCompletions API 的请求内容如下，两种的格式还是有一些区别的。
vLLM 实战
LF_AI的博客
08-28 2512
引言随着人工智能技术的飞速发展，以及今年以来 ChatGPT 的爆火，大语言模型 (Large Language Model, LLM) 受到越来越多的关注。为了实现 LLM 部署时的推理优化，全球各地有众多团队做出了各种优化框架。本文以加州大学伯克利分校开发的 vLLM 框架为例，进行实战探索。1. 整体介绍根据公开文档中的实验结果， vLLM 吞吐量比 Hugging Face Transfo...
大模型推理加速框架vllm部署的实战方案
热门推荐
herosunly的博客
11-25 3万+
本文主要介绍了大模型推理加速框架vllm部署的实战方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行vllm
LLM大模型推理加速 vLLM；docker推理大模型；Qwen vLLM使用案例；模型生成速度吞吐量计算
weixin_42357472的博客
09-04 4287
参考：https://vllm.readthedocs.io/en/latest/getting_started/quickstart.html ##文档加速原理：PagedAttention，主要是利用kv缓存。
LLM大模型推理加速实战：vllm、fastllm与llama.cpp使用指南
weixin_41888295的博客
03-26 3614
随着大语言模型（LLM）的兴起，推理加速成为关键。本文将介绍vllm、fastllm和llama.cpp三个加速工具的使用教程，并总结大模型推理的常见策略，为非专业读者提供简明易懂的操作建议。
如何使用vllm在服务器上部署模型并调用
程序源的博客
10-15 3317
如果网络超时或者报错。可以选择从魔塔社区下载，vllm默认是从huggingface去下载的。环境准备：python3.10，cuda12.1。在魔塔社区找到自己要下载的模型。如果没有下载模型，会先下载模型的。
使用vllm部署自己的大模型
刘炫320的博客
04-26 2万+
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
vLLM 还是ollama
02-20
### 比较 vLLM 和 Ollama 大规模语言模型框架 #### 性能对比 大规模语言模型（LLMs）的发展促使多种框架和技术不断涌现。对于vLLM和Ollama而言，在性能方面存在显著差异。计算困惑度(perplexity)是评估这些模型的一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值