vLLM 项目安装和配置指南

vLLM 项目安装和配置指南

vllm A high-throughput and memory-efficient inference and serving engine for LLMs 项目地址: https://gitcode.com/gh_mirrors/vl/vllm

1. 项目基础介绍和主要编程语言

项目基础介绍

vLLM 是一个高性能、内存高效的推理和服务引擎，专门用于大型语言模型（LLM）。它旨在提供快速、简单且经济的 LLM 服务，支持多种硬件平台，包括 NVIDIA GPU、AMD CPU 和 GPU、Intel CPU 和 GPU、PowerPC CPU、TPU 和 AWS Neuron。

主要编程语言

vLLM 项目主要使用 Python 进行开发，同时也包含一些 C++ 和 CUDA 代码以优化性能。

2. 项目使用的关键技术和框架

关键技术

• PagedAttention: 一种高效的注意力机制，用于管理内存中的键和值。
• CUDA/HIP Graph: 用于加速模型执行。
• Quantization: 支持 GPTQ、AWQ、INT4、INT8 和 FP8 量化技术。
• Speculative Decoding: 用于加速解码过程。
• Chunked Prefill: 用于优化填充过程。

主要框架

• PyTorch: 用于模型推理和训练。
• Hugging Face Transformers: 无缝集成，支持多种开源模型。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• Python 3.7 或更高版本
• CUDA 11.0 或更高版本（如果使用 NVIDIA GPU）
• 足够的磁盘空间（建议至少 10GB）

详细安装步骤

步骤 1: 安装 Python 和 pip

确保您的系统上已安装 Python 和 pip。如果没有，请按照以下步骤安装：

# 安装 Python 3.7 或更高版本
sudo apt-get update
sudo apt-get install python3.7

# 安装 pip
sudo apt-get install python3-pip

步骤 2: 创建虚拟环境（可选）

为了隔离项目依赖，建议创建一个虚拟环境：

python3 -m venv vllm_env
source vllm_env/bin/activate

步骤 3: 安装 vLLM

使用 pip 安装 vLLM：

pip install vllm

步骤 4: 验证安装

安装完成后，您可以通过以下命令验证 vLLM 是否安装成功：

python -c "import vllm; print(vllm.__version__)"

步骤 5: 配置和使用

vLLM 可以用于离线推理和在线服务。以下是一个简单的使用示例：

from vllm import LLM

prompts = ["Hello, my name is", "The capital of France is"]
llm = LLM(model="lmsys/vicuna-7b-v1.3")
outputs = llm.generate(prompts)
print(outputs)

结束语

通过以上步骤，您已经成功安装并配置了 vLLM 项目。您可以根据需要进一步探索其高级功能和配置选项。

vllm A high-throughput and memory-efficient inference and serving engine for LLMs 项目地址: https://gitcode.com/gh_mirrors/vl/vllm