主流推理框架哪家强？看看它们在Llama 2上的性能比较

最新推荐文章于 2025-04-10 21:02:20 发布
最新推荐文章于 2025-04-10 21:02:20 发布
阅读量1.3k 收藏 3
点赞数
文章标签： llama
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247637065&idx=2&sn=f77c78790f3f505a8c05a1293d912953&chksm=96e407c9a1938edfc97e87b8193eaba99ec3647f0034a3f56331b42880adc01502edb5fe0dfd&scene=126&sessionid=0
版权

b81b02891dd139b0681d150fab19904b.gif

©作者 | 紫气东来

测试模型：

https://huggingface.co/FlagAlpha/Llama2-Chinese-13b-Chat/tree/main

测试设备：

A6000

3d3dad4a128cff2df358a1bd06bee3f7.png


vLLM

vllm 此前也多次讨论，部署简单且高效，首先起一个本地的服务

python3 -m vllm.entrypoints.api_server --model ckpt/FlagAlp
ha/Llama2-Chinese-13b-Chat/

接着使用测试集请求服务

python3 benchmark_serving.py --dataset ShareGPT_V3_unfiltered_cleaned_split.json --tokenizer ckpt/FlagAlpha/Llama2-Chinese-13b-Chat/

性能如下所示：

2e6a7d7706260ffe688f1162e994e66f.png

3338abb4a856b3c41ba779afba628f49.png


Text Generation Inference

TGI 是 HuggingFace 官方支持的推理部署工具，具有以下特点：

  • 和 vllm 类似的 continuous batching

  • 支持了 flash-attention 和 Paged Attention。

  • 支持了 Safetensors 权重加载。

  • TGI 支持部署 GPTQ 模型服务，这使得我们可以在单卡上部署拥有 continous batching 功能的，更大的模型。

  • 支持采用 Tensor Parallelism 部署多 GPU 服务，模型水印等其他功能

可以通过 docker 安装，拉取最新的镜像：

docker pull ghcr.io/huggingface/text-generation-inference:1.0.0

在容器里使用 GPU，需要安装 nvida container toolkit，其命令如下：

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

如果要进行本地测试，可以通过源码安装（以下在 ubuntu 上安装）：

  • 依赖安装

# 如果没有网络加速的话，建议添加 pip 清华源或其他国内 pip 源
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
apt-get install cargo  pkg-config git

  • 下载 protoc

PROTOC_ZIP=protoc-21.12-linux-x86_64.zip
curl -OL https://github.com/protocolbuffers/protobuf/releases/download/v21.12/$PROTOC_ZIP
sudo unzip -o $PROTOC_ZIP -d /usr/local bin/protoc
sudo unzip -o $PROTOC_ZIP -d /usr/local 'include/*'
rm -f $PROTOC_ZIP

  • 如果没有网络加速的话，建议修改 cargo 源。有网络加速可略过。

# vim ~/.cargo/config
[source.crates-io]
registry = "https://github.com/rust-lang/crates.io-index"

replace-with = 'tuna'

[source.tuna]
registry = "https://mirrors.tuna.tsinghua.edu.cn/git/crates.io-index.git"

[net]
git-fetch-with-cli=true

  • TGI 根目录下执行安装：

BUILD_EXTENSIONS=True make install # Install repository and HF/transformer fork with CUDA kernels

  • 安装成功，添加环境变量到  .bashrc  中  export PATH=/root/.cargo/bin:$PATH 

  • 执行  text-generation-launcher --help ，有输出表示安装成功。

安装完成后，部署服务如下：

docker run --rm \
    --gpus all \
    -p 5001:5001 \
    -v $PWD/tgi_data:/data \
    ghcr.io/huggingface/text-generation-inference:1.0.0 \
    --model-id /data/Llama2-Chinese-13b-Chat/ \
    --hostname 0.0.0.0 \
    --port 5001 \
    --dtype float16 \
    --num-shard 8 \
    --sharded true

参数及使用方法可参考这里。

性能如下：

c40cc9be547ceea8b143e868ab7a5476.png

可以看出，更新后的 TGI 性能优于 vllm。

db3e048e4752ab99ddafcea238c414e0.png

FasterTransformer

FasterTransformer 通常和 Triton 搭配使用，首先需要安装 Triton Inference Server ，选择合适的版本，此处选择22.05

sudo docker pull nvcr.io/nvidia/tritonserver:22.05-py3

安装并进行测试

# 下载官方提供的模型
 git clone https://github.com/triton-inference-server/server.git
cd ./server/docs/examples
./fetch_models.sh
# 启动triton server
docker run --gpus=1 --rm --net=host -v ${PWD}/model_repository:/models nvcr.io/nvidia/tritonserver:22.05-py3 tritonserver --model-repository=/models

 curl -v localhost:8000/v2/health/ready
# Use docker pull to get the client libraries and examples image from NGC.
sudo docker pull nvcr.io/nvidia/tritonserver:22.05-py3-sdk
# Run the client image
sudo docker run --gpus all -it --rm --net=host nvcr.io/nvidia/tritonserver:22.05-py3-sdk
# run the inference example
/workspace/install/bin/image_client -m densenet_onnx -c 3 -s INCEPTION /workspace/images/mug.jpg

安装完后进一步构建镜像

export BUILD_DICTIONARY="/data/build"
export TRITON_VERSION=22.05

cd $BUILD_DICTIONARY
git clone https://github.com/Rayrtfr/fastertransformer_backend.git 
cd $BUILD_DICTIONARY/fastertransformer_backend

docker build --build-arg TRITON_VERSION=${TRITON_VERSION} -t triton_ft_backend:${TRITON_VERSION}-v-1 -f docker/Dockerfile .

启动镜像并进入

docker run -idt --gpus=all --net=host  --shm-size=4G --name triton_ft_backend_pure \
  -v $PWD:/data \
  -p18888:8888 -p18000:8000 -p18001:8001 -p18002:8002 triton_ft_backend:${TRITON_VERSION}-v-1  bash

在容器内使用FasterTransformer将Llama2-Chinese-13b-Chat的权重转换为二进制

git clone https://github.com/Rayrtfr/FasterTransformer.git
cd FasterTransformer

mkdir models && sudo chmod -R 777 ./*

python3 ./examples/cpp/llama/huggingface_llama_convert.py \
-saved_dir=./models/llama \
-in_file=../Llama2-Chinese-13b-Chat \
-infer_gpu_num=1 \
-weight_data_type=fp16 \
-model_name=llama

修改模型配置

mkdir triton-model-store
cd triton-model-store/

cp -r fastertransformer_backend/all_models/llama triton-model-store/

编辑 config.pbtxt

# 修改 triton-model-store/llama/fastertransformer/config.pbtxt
parameters {
  key: "tensor_para_size"
  value: {
    string_value: "1"
  }
}

## 修改 model_checkpoint_path 为上面转换之后的路径
parameters {
  key: "model_checkpoint_path"
  value: {
    string_value: "/data/FasterTransformer/models/llama/1-gpu/"
  }
}

## 修改 FasterTransformer/examples/cpp/llama/llama_config.ini
model_name=llama_13b
model_dir=/data/FasterTransformer/models/llama/1-gpu/

# 修改这两个文件 triton-model-store/llama/preprocess/1/model.py triton-model-store/llama/postprocess/1/model.py  
# 检查 这个路径为tokenier对应的路径 
self.tokenizer = LlamaTokenizer.from_pretrained("/data/Llama2-Chinese-13b-Chat")

编译 FasterTransformer

cd FasterTransformer
mkdir build && cd build

git submodule init && git submodule update
pip3 install fire jax jaxlib transformers

cmake -DSM=86 -DCMAKE_BUILD_TYPE=Release -DBUILD_PYT=ON -DBUILD_MULTI_GPU=ON -D PYTHON_PATH=/usr/bin/python3 ..
make -j12
make install

在容器内启动 triton server

CUDA_VISIBLE_DEVICES=0 /opt/tritonserver/bin/tritonserver  --model-repository=triton-model-store/llama/

结果如下：

I0730 13:59:40.521892 33116 grpc_server.cc:4589] Started GRPCInferenceService at 0.0.0.0:8001
I0730 13:59:40.523018 33116 http_server.cc:3303] Started HTTPService at 0.0.0.0:8000
I0730 13:59:40.564427 33116 http_server.cc:178] Started Metrics Service at 0.0.0.0:8002

启动 client 测试

python3 fastertransformer_backend/inference_example/llama/llama_grpc_stream_client.py

输出结果

seq_len:148 token_text:<s><s><unk> : 北京有什么？
</s><s>Assistant: 北京是中国的首都，也是一座历史悠久，文明古老的城市。它拥有丰富的历史遗产和文化财宝，包括万家宫、故宫、颐和园、香山、大观园、长顺寺等等。此外，北京也拥有丰富的吃的、喝的、看

性能及 TP 相关测试进行中。。。

outside_default.png

参考资料

outside_default.png

[1] vllm vs TGI 部署 llama v2 7B 踩坑笔记 （https://zhuanlan.zhihu.com/p/645732302）

[2] https://github.com/FlagAlpha/Llama2-Chineseama2-Chinese

[3] https://https://vilsonrodrigues.medium.com/serving-falcon-models-with-text-generation-inference-tgi-5f32005c663b

/serving-falcon-models-with-text-generation-inference-tgi-5f32005c663b

更多阅读

14f6bc4f2b1fed5a5eaf225a5261dc80.png

b0a440d9eca750df6fde4976ca384201.png

bee7da6893851fd5a17b76385daf5bb8.png

0a8397469bf2f16983206d769b89a5fa.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

f2fc89c381ae67ba39d5a6c5d213b766.png

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

30c3606032558b3850d6ae112f716238.jpeg

PaperWeekly
关注
LLM 推理并发不够怎么解？基于 LLaMA-Factory 的模型量化实战指南
kakaZhui的博客
05-07 110
想象一下，你部署的 LLM 应用在高峰期响应缓慢、用户请求大量排队甚至超时失败——这不仅严重影响用户体验，更可能直接导致业务损失。造成并发瓶颈的核心原因之一，就是 LLM 推理本身对计算资源（尤其是 GPU 显存和计算单元）的巨大消耗。那么，当我们的 LLM 推理服务并发告急时，该如何应对？除了增加硬件投入（这往往成本高昂），模型量化 (Model Quantization)是一种在不显著牺牲（有时甚至能略微提升）性能的前提下，有效降低模型显存占用、提升推理速度，从而间接提高并发处理能力的关键技术。
大语言模型之LlaMA系列-LlaMA 2及LlaMA_chat(下)
aidashuju的博客
09-26 1637
沿用了Llama 1的设计与架构：RoPE、RMSNorm、SwiGLU+AdamWLlama 2采用了Llama 1中的大部分预训练设置和模型架构，包括标准Transformer架构、使用RMSNorm的预归一化、SwiGLU激活函数和旋转位置嵌入(RoPE)。采用AdamW 优化器进行训练，其中β1=0.9，β2=0.95，eps=10−5β1=0.9，β2=0.95，eps=10−5。同时使用余弦(consin)学习率表, 预热2000 步，并最终将学习率衰减到了峰值学习率的10%。
基于TGI的大模型推理框架适配之昇腾部署
小白菜的博客
01-03 3281
优势支持 continuous batching支持flash-attention 和 Paged Attention支持Safetensors 权重加载支持部署 GPTQ 模型服务（量化）Router和Server是最重要的组件若干个客户端同时请求Web Server的“/generate”服务后，服务端会将这些请求在“Buffer”组件处整合为Batch，并通过gRPC协议转发请求给GPU推理引擎进行计算生成。
大模型推理框架（三）Text generation inference (TGI)
深数研究院
01-04 1136
Text Generation Inference（TGI）是一个由Hugging Face开发的用于部署和提供大型语言模型（LLMs）的框架。它是一个生产级别的工具包，专门设计用于在本地机器上以服务的形式运行大型语言模型。TGI使用Rust和Python编写，提供了一个端点来调用模型，使得文本生成任务更加高效和灵活.
vLLM、Ollama、TGI三大模型推理框架对比
charles666666的博客
04-10 575
2.Ollama的独特优势。1.vLLM的杀手锏。3.TGI的核心能力。
【大模型】text-generation-inference（TGI）项目加速推理的量化实现与使用GPTQ量化实现的对比
m0_51538830的博客
08-28 4831
text-generation-inference TGI项目加速推理的量化实现与使用GPTQ量化实现的对比
LLM大模型学习：LLM大模型推理加速llm推理框架 Text Generation Inference(TGI) 教程
2401_85390073的博客
09-08 973
在右下角，可以看到token树数量和延迟情况，如果你的应用需要处理大量token，随着token的增大，延迟会不断增加，可以找到图中的拐点，以确定最佳的token数量，如果token数量不够，那么可以考虑添加显卡，增多硬件。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
大模型推理框架概述
zenRRan的博客
10-10 1409
来自：吃果冻不吐果冻皮进NLP群—>加入NLP交流群从 ChatGPT 面世以来，引领了大模型时代的变革，除了大模型遍地开花以外，承载大模型进行推理的框架也是层出不穷，大有百家争鸣的态势。本文主要针对业界知名度较高的一些大模型推理框架进行相应的概述。vLLMGitHub: https://github.com/vllm-project/vllm简介vLLM是一个开源的大模型推理加速框架，通过...
10种主流LLM推理框架的技术介绍与对比：从本地部署到企业级服务
2401_85325726的博客
02-13 2392
部署场景：从个人开发环境到企业级生产系统，选择合适的部署方案。性能需求：根据延迟、吞吐量等指标选择最适合的技术框架。资源约束：考虑硬件资源限制，选择合适的优化策略。开发难度：评估团队技术能力，选择适合的实现方案。维护成本：考虑长期运维和升级的技术投入。通过深入理解各个框架的技术特点和适用场景，开发团队可以根据具体需求选择最适合的部署方案，实现大语言模型的高效服务。
大模型推理框架
weixin_44245188的博客
04-02 859
vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。PagedAttention 是 vLLM 的核心技术，它解决了LLM服务中内存的瓶颈问题。传统的注意力算法在自回归解码过程中，需要将所有输入Token的注意力键和值张量存储在GPU内存中，以生成下一个Token。这些缓存的键和值张量通常被称为KV缓存。
分布式推理框架 xDit
m0_74823364的博客
01-21 883
xDiT 是一个为大规模多 GPU 集群上的。
nakama-unreal:Nakama服务器的虚幻客户端
05-28
仲间虚幻 Nakama服务器的虚幻编辑器4客户端。 是一款开放源代码服务器，旨在为现代游戏和应用程序提供支持。 功能包括用户帐户，聊天，社交，媒人，实时多人游戏。 该客户端通过服务器实现完整的API和套接字选项。 它是用C ++编写的，具有最小的依赖关系，以支持虚幻，虚幻和其他自定义引擎和框架。 如果客户端遇到任何问题，启用调试日志（请参阅“部分）并可能很有用。 完整的文档在线上 注意 从这个回购不下载源代码，如果你不打算创建pull请求。 这不适用于最终用户。 入门 您需要先设置服务器和数据库，然后才能与客户端连接。 最简单的方法是使用Docker，但请参阅中的其他选项。 要开始在虚幻引擎中使用Nakama，您需要具备以下条件： 安装并运行服务器。 请按照以下。 4.21或更高版本。 您正在开发的平台的编译器，例如Windows上的Visual Studio或OSX上的
游戏：游戏逻辑服务器框架go
02-05
游戏：游戏逻辑服务器框架go
llm大模型教程：LLM大模型推理加速vllm 、fastllm、llama.cpp使用教程以及大模型推理的总结
2401_85343303的博客
09-07 1261
大模型的推理加速方法有很多，大模型的聊天后端也有很多。可是聊天的准确性和后端没有太大的关系。字符生成快慢也和后端没有任何关系，综上所述，个人不建议把太多时间花在后端开发上面。
【AIGC】大模型推理部署框架
LeeZhao的博客
11-21 1805
聚焦AIGC专业技术分享
LLM的7种推理框架
python122_的博客
06-13 2311
我们如何在本地安全地运行私有的LLMs呢？开源模型为此提供了可能的解决方案。本文将介绍七种方法。这是一个Python库，可以简化本地运行LLM的过程。特点：Llama.cpp是一个基于C++的推理引擎，专门为Apple Silicon优化，可以运行Meta的Llama2模型。它针对GPU和CPU都做了推理优化。优点：性能高于基于Python的解决方案，支持在适度的硬件上运行大型模型，如Llama 7B，并提供绑定，可以用其他语言构建AI应用程序，同时通过Llama.cpp运行推理。
AI架构设计7：TGI
鲁班模锤
05-28 1177
vLLM适用于需要高效内存管理和并行计算的大规模语言模型推理，特别是在资源受限的环境中表现优秀。其主要优势在于高效的内存使用和灵活的并行处理能力，但需要细致的配置和优化。而TGI则专注于提升文本生成任务的推理速度，适用于需要高效文本生成的应用场景。其主要优势在于推理速度优化和模型压缩，但主要针对特定任务进行优化，量化可能会影响模型精度。选择哪一个系统取决于具体的应用需求。
vLLM vs TGI 部署大模型以及注意点
哦豁灬
04-05 6206
LLM 高并发部署是个难题，具备高吞吐量的服务，能够让用户有更好的体验（比如模型生成文字速度提升，用户排队时间缩短）。
大模型本地部署方式比较
最新发布
05-09
<think>好的，我现在需要帮用户比较不同大模型的本地部署方式。首先，我得回忆一下之前用户提到的引用内容，看看有哪些工具和方法被提到过。引用里提到了Hugging Face的Transformers、Llama.cpp、ollama、GPT4All，还有LangChain框架和Fine-tuning的相关内容。用户现在想比较这些方式，所以我要整理它们的优缺点、适用场景和硬件要求。 首先，Hugging Face的Transformers应该是一个比较基础且灵活的工具，适合开发者，但可能需要较高的硬件配置。然后Llama.cpp是专门为Llama模型优化的，支持CPU推理，可能适合资源有限的环境。ollama用户友好，适合快速部署，但可能支持的模型有限。GPT4All也是轻量级的，适合普通用户，但扩展性可能不强。 接下来，我需要考虑用户可能的实际需求，比如是否需要GPU、技术背景如何、是否需要微调或者扩展功能。例如，如果用户是开发者，可能更倾向于Hugging Face或LangChain，而普通用户可能更适合ollama或GPT4All。同时，硬件资源也是一个关键因素，比如是否有GPU会影响选择。 还要注意引用中的信息，比如引用2提到LangChain开发框架和Fine-tuning，引用3提到三种工具。需要确保覆盖这些工具，并比较它们的优缺点。同时，用户可能关心部署的难易度、性能、支持的模型类型等。 最后，生成相关问题时要围绕用户可能的后续疑问，比如如何选择工具、优化性能的方法、或者具体部署步骤。确保问题能够引导用户进一步探索他们需要的解决方案。</think>### 大模型本地部署方式比较与分析 以下是常见本地部署大模型的主流工具和技术对比，结合性能、硬件要求及适用场景进行系统梳理： --- #### 1. **Hugging Face Transformers + PyTorch** - **核心特点**：开源社区主流框架，支持加载预训练模型（如Llama、BERT、GPT-2等），支持微调和自定义开发。 - **优点**： - 灵活性强，可修改模型结构和训练逻辑 - 支持GPU加速（CUDA）与混合精度训练 - 提供丰富的模型库和API接口 - **缺点**： - 显存占用较高，需高性能GPU（如NVIDIA RTX 3090+） - 部署复杂度较高，需熟悉Python和深度学习框架 - **适用场景**：研究实验、模型微调或需要自定义功能的开发者[^2][^3] --- #### 2. **Llama.cpp** - **核心特点**：专为Meta Llama系列优化的C++推理框架，支持CPU/GPU混合计算。 - **优点**： - 量化技术显著降低显存占用（如4-bit量化） - 无需GPU即可在普通PC运行 - 提供Python绑定简化调用 - **缺点**： - 仅支持Llama架构模型 - 微调能力有限 - **适用场景**：资源受限环境下的快速部署（如个人电脑）[^3] --- #### 3. **ollama** - **核心特点**：一键式本地大模型运行工具，内置模型仓库。 - **优点**： - 开箱即用，支持命令行交互 - 自动处理模型下载与依赖项 - 支持多操作系统（Windows/macOS/Linux） - **缺点**： - 仅支持部分开源模型（如Llama 2、Mistral） - 可定制性较低 - **适用场景**：非技术用户快速体验大模型能力[^3] --- #### 4. **GPT4All** - **核心特点**：轻量化本地部署方案，专注隐私保护。 - **优点**： - 完全离线运行，数据不出本地 - 图形界面友好 - 支持文档问答等垂直场景 - **缺点**： - 模型选择有限（仅自带7B/13B模型） - 推理速度较慢 - **适用场景**：企业敏感数据场景下的基础应用[^3] --- ### 关键维度对比表 | 工具/框架 | 硬件需求 | 学习成本 | 可扩展性 | 典型延迟（7B模型） | |------------------|-------------------|----------|----------|--------------------| | Hugging Face | 高端GPU（16G+显存）| 高 | ★★★★☆ | 20ms/token | | Llama.cpp | CPU/中端GPU | 中 | ★★☆☆☆ | 50ms/token | | ollama | 普通CPU | 低 | ★☆☆☆☆ | 100ms/token | | GPT4All | 普通CPU | 低 | ★★☆☆☆ | 150ms/token | --- ### 部署选型建议 1. **优先考虑硬件条件**： - 有专业显卡：选择Hugging Face进行全功能开发 - 仅有CPU：使用Llama.cpp或ollama 2. **按使用目标选择**： - 学术研究：Hugging Face + LangChain开发框架[^2] - 商业应用：结合量化技术与RAG（检索增强生成）优化性能 - 隐私敏感场景：GPT4All本地化方案 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值