大模型(LLM)推理框架汇总

最新推荐文章于 2025-03-08 11:30:03 发布
最新推荐文章于 2025-03-08 11:30:03 发布
阅读量1.7k 收藏 25
点赞数 12
文章标签： 学习 人工智能 机器学习 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84206094/article/details/142847409
版权

MLC LLM

submodules in MLC LLM

大模型(LLM)好性能通用部署方案，陈天奇(tvm发起者)团队开发.

项目链接

docs: https://llm.mlc.ai/docs/

github: https://github.com/mlc-ai/mlc-llm

支持的平台和硬件

platforms & hardware

支持的模型

|
Architecture

|

Prebuilt Model Variants

|
| — | — |
|

Llama

|

Llama-2, Code Llama, Vicuna, WizardLM, WizardMath, OpenOrca Platypus2, FlagAlpha Llama-2 Chinese, georgesung Llama-2 Uncensored

|
|

GPT-NeoX

|

RedPajama

|
|

GPT-J

|
|
|

RWKV

|

RWKV-raven

|
|

MiniGPT

|
|
|

GPTBigCode

|

WizardCoder

|
|

ChatGLM

|
|
|

ChatGLM

|
|

接口API 支持

Javascript API, Rest API, C++ API, Python API, Swift API for iOS app, Java API & Android App

量化(Quantization) 方法支持

4-bit, LUT-GEMM, GPTQ

ref: https://llm.mlc.ai/docs/compilation/configure_quantization.html

其他

最大的特点是可以快速部署大模型到iOS 和 Android 设备上, 浏览器上运行文生图模型(sd1.5/2.1)和大模型, 推理框架基于tvm-unity.

vLLM

快速简单易用的大模型推理框架和服务，来自加州大学伯克利分校

vLLm 运行大模型非常快主要使用以下方法实现的：

  1. 先进的服务吞吐量

  2. 通过PageAttention 对attention key & value 内存进行有效的管理

  3. 对于输入请求的连续批处理

  4. 高度优化的CUDA kernels

项目链接

docs: Welcome to vLLM!

github: https://github.com/vllm-project/vllm

支持的平台和硬件

NVIDIA CUDA, AMD ROCm

支持的模型

vLLM seamlessly supports many Hugging Face models, including the following architectures:

  • Aquila & Aquila2 (BAAI/AquilaChat2-7B, BAAI/AquilaChat2-34B, BAAI/Aquila-7B, BAAI/AquilaChat-7B, etc.)

  • Baichuan & Baichuan2 (baichuan-inc/Baichuan2-13B-Chat, baichuan-inc/Baichuan-7B, etc.)

  • BLOOM (bigscience/bloom, bigscience/bloomz, etc.)

  • ChatGLM (THUDM/chatglm2-6b, THUDM/chatglm3-6b, etc.)

  • Falcon (tiiuae/falcon-7b, tiiuae/falcon-40b, tiiuae/falcon-rw-7b, etc.)

  • GPT-2 (gpt2, gpt2-xl, etc.)

  • GPT BigCode (bigcode/starcoder, bigcode/gpt_bigcode-santacoder, etc.)

  • GPT-J (EleutherAI/gpt-j-6b, nomic-ai/gpt4all-j, etc.)

  • GPT-NeoX (EleutherAI/gpt-neox-20b, databricks/dolly-v2-12b, stabilityai/stablelm-tuned-alpha-7b, etc.)

  • InternLM (internlm/internlm-7b, internlm/internlm-chat-7b, etc.)

  • LLaMA & LLaMA-2 (meta-llama/Llama-2-70b-hf, lmsys/vicuna-13b-v1.3, young-geng/koala, openlm-research/open_llama_13b, etc.)

  • Mistral (mistralai/Mistral-7B-v0.1, mistralai/Mistral-7B-Instruct-v0.1, etc.)

  • MPT (mosaicml/mpt-7b, mosaicml/mpt-30b, etc.)

  • OPT (facebook/opt-66b, facebook/opt-iml-max-30b, etc.)

  • Phi-1.5 (microsoft/phi-1_5, etc.)

  • Qwen (Qwen/Qwen-7B, Qwen/Qwen-7B-Chat, etc.)

  • Yi (01-ai/Yi-6B, 01-ai/Yi-34B, etc.)

接口API支持

OpenAI-compatible API server

分布式推理和服务（支持Megatron-LM’s tensor parallel algorithm）

可以使用SkyPilot 框架运行在云端

可以使用NVIDIA Triton 快速部署

可以使用LangChain 提供服务

量化(Quantization)方法

4-bit: AutoAWQ

OpenLLM

促进实际生产过程中的大模型的部署，微调，服务和监测.

项目链接

github: GitHub - bentoml/OpenLLM: Operating LLMs in production

支持的平台和硬件

GPU

支持的模型

|
model

|
| — |
|

Baichuan

|
|

ChatGLM

|
|

DollyV2

|
|

Falcon

|
|

FlanT5

|
|

GPTNeoX

|
|

Llama

|
|

Mistral

|
|

MPT

|
|

OPT

|
|

Phi

|
|

Qwen

|
|

StableLM

|
|

StarCoder

|
|

Yi

|

接口API支持 & Integrations

Serve LLMs over a RESTful API or gRPC with a single command. You can interact with the model using a Web UI, CLI, Python/JavaScript clients, or any HTTP client of your choice.

BentoML,OpenAI’s Compatible Endpoints,LlamaIndex,LangChain, andTransformers Agents.

量化(Quantization)方法

  • LLM.int8(): 8-bit Matrix Multiplication through bitsandbytes

  • SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression through bitsandbytes

  • AWQ: Activation-aware Weight Quantization,

  • GPTQ: Accurate Post-Training Quantization

  • SqueezeLLM: Dense-and-Sparse Quantization.

支持多个Runtime, 主要为使用 vllm 和 pytorch backend.

DeepSpeed-MII

MII architecture

针对DeepSpeed 模型实现的，专注于高吞吐量，低延迟和成本效益的开源推理框架

MII(Model Implementations for Inference) 提供加速的文本生成推理通过Blocked KV Caching, Continuous Batching, Dynamic SplitFuse 和高性能的CUDA Kernels, 细节请参考:https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-fastgen

项目链接

https://github.com/microsoft/DeepSpeed-MII

支持的平台和硬件

NVIDIA GPUs

支持的模型

在这里插入图片描述

MII model support

接口API支持

RESTful API

TensorRT-llm

组装优化大语言模型推理解决方案的工具，提供Python API 来定义大模型，并为 NVIDIA GPU 编译高效的 TensorRT 引擎.

TensorRT-LLM is a toolkit to assemble optimized solutions to perform Large Language Model (LLM) inference. It offers a Python API to define models and compile efficientTensorRTengines for NVIDIA GPUs. It also contains Python and C++ components to build runtimes to execute those engines as well as backends for theTriton Inference Serverto easily create web-based services for LLMs. TensorRT-LLM supports multi-GPU and multi-node configurations (through MPI).

项目链接

docs: https://github.com/NVIDIA/TensorRT-LLM/tree/main/docs/source

github: https://github.com/NVIDIA/TensorRT-LLM

支持的平台和硬件

NVIDIA GPUs (H100, L40S, A100, A30, V100)

支持的模型

  • Baichuan

  • Bert

  • Blip2

  • BLOOM

  • ChatGLM

  • Falcon

  • Flan-T5

  • GPT

  • GPT-J

  • GPT-Nemo

  • GPT-NeoX

  • InternLM

  • LLaMA

  • LLaMA-v2

  • Mistral

  • MPT

  • mT5

  • OPT

  • Qwen

  • Replit Code

  • SantaCoder

  • StarCoder

  • T5

  • Whisper

接口API支持

Python API, Pytorch API, C++ API, NVIDIA Triton Inference Server,

量化(Quantization)方法

INT8 SmoothQuant (W8A8), NT4 and INT8 Weight-Only (W4A16 and W8A16), GPTQ and AWQ (W4A16), FP8 (Hopper)

添加图片注释，不超过 140 字（可选）

ref: https://github.com/NVIDIA/TensorRT-LLM/blob/main/docs/source/precision.md

其他

TensorRT-LLM 主要特色：

  • Multi-head Attention(MHA)

  • Multi-query Attention (MQA)

  • Group-query Attention(GQA)

  • In-flight Batching

  • Paged KV Cache for the Attention

  • Tensor Parallelism

  • Pipeline Parallelism

  • INT4/INT8 Weight-Only Quantization (W4A16 & W8A16)

  • SmoothQuant

  • GPTQ

  • AWQ

  • FP8

  • Greedy-search

  • Beam-search

  • RoPE

取代产品岗，国内又一新兴岗位在崛起！这才是产品经理未来5年最好的就业方向#### 一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。
本文转自 https://blog.csdn.net/mama19971023/article/details/140993495?spm=1001.2014.3001.5501，如有侵权，请联系删除。

vllm使用和推理流程
weixin_50008473的博客
04-02 677
项目地址：
基础篇| 全网最全详解12个大模型推理框架
youbingchen的博客
07-30 3989
开始介绍之前, 我们先了解一下什么是框架?xx框架-IT人经常听到的名词。但是又有多少人知道框架的意思?框架（framework）是一个框子:指其约束性，也是一个架子——指其支撑性。是一个基本概念上的结构，用于去解决或者处理复杂的问题。在IT软件领域，软件框架（software framework）的标准定义：通常指的是为了实现某个业界标准或完成特定基本任务的软件组件规范，也指为了实现某个软件组件规范时，提供规范所要求之基础功能的软件产品。
大模型推理框架概述
2301_78285120的博客
10-09 2485
vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。PagedAttention 是 vLLM 的核心技术，它解决了LLM服务中内存的瓶颈问题。传统的注意力算法在自回归解码过程中，需要将所有输入Token的注意力键和值张量存储在GPU内存中，以生成下一个Token。这些缓存的键和值张量通常被称为KV缓存。
一文了解八款主流大模型推理框架
最新发布
m0_59235245的博客
03-08 1495
当前大模型推理平台/引擎生态各具特色，从企业级高并发服务到本地轻量化部署，从国产硬件优化到前沿编译技术探索，每种方案都有其独到优势。选择合适的推理方案不仅需考虑技术指标，更要结合业务场景、硬件资源与未来扩展规划。未来，随着技术的不断进步和产业协作的加深，大模型推理生态将呈现出更加多元、灵活和高效的局面，为各领域在激烈竞争中抢占先机提供强大支撑。
Win10（CPU）+ Anaconda3 + python3.9安装pytorch
AAI666666的博客
01-14 1888
Win10（CPU）+ Anaconda3 + python3.9安装pytorch
大模型国产化适配9-LLM推理框架MindIE-Service性能基准测试
强化学习曾小健
08-03 2205
本文简要介绍了LLM推理过程、LLM推理服务的目标、常见的LLM服务评估指标以及LLM推理优化技术。同时，使用MindIE-Service对不同的大模型的推理延迟和吞吐量进行了测试。参考文档：Reproducible Performance Metrics for LLM inference / 可复现的语言大模型推理性能指标LLM 推理性能工程最佳实践大语言模型推理性能工程优化最佳实践吃果冻不吐果冻皮专注于AI工程化（LLM、MLOps、LLMOps、RAG、Agent）落地。150篇原创内容。
【大模型框架】LLM大模型开源RAG框架汇总
AGI_GGbond的博客
11-04 1003
本文搜集了一些开源的基于LLM的RAG（Retrieval-Augmented Generation）框架，旨在吸纳业界最新的RAG应用方法与思路。如有错误或者意见可以提出，同时也欢迎大家把自己常用而这里未列出的框架贡献出来，感谢~
全面解析 LLM 推理性能的关键因素
安静的软件工程师
02-12 4634
全面解析 LLM 推理性能的关键因素
大语言模型LLM推理加速：LangChain与ChatGLM3-6B的推理加速技术（LLM系列11）
North_D的博客
02-27 1600
此外，通过缓存机制，频繁查询的结果得以复用，进一步优化了推理效率。总结而言，通过LangChain的分布式计算框架和知识图谱集成优化，结合ChatGLM3-6B的内在模型优化技术，辅以异步计算策略和硬件加速手段，可以显著提升大语言模型推理的效率和性能，为NLP领域的实际应用开辟更为广阔的道路。例如，在某个问答系统中，通过LangChain框架，模型在接收到用户提问后，首先在本地缓存中查找是否存在相同或相似问题的答案，如果没有，则通过链式查询机制，依次调用多个模型和知识源获取信息，最后将结果汇总得出答案。
生成式AI - 大模型推理框架概述
Larry的博客
11-12 1187
从 ChatGPT 面世以来，引领了大模型时代的变革，除了大模型遍地开花以外，承载大模型进行推理的框架也是层出不穷，大有百家争鸣的态势。本文主要针对业界知名度较高的一些大模型推理框架进行相应的概述。
通用大模型推理研究：SGLang推理框架
yunxinan的专栏
07-30 2644
SGLang: Efficient Execution of Structured Language Model Programs，由斯坦福大学、加州大学伯克利分校、上海交通大学、德克萨斯大学完成。
大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型的推理速度对比
HUSTHY的博客
04-24 6377
这篇博客就专门对语言大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型上的推理速度和效果进行一个对比。主要的内容分为三块，第一块简单介绍一下vllm和TensorRT-llM框架的特色和基本技术点，由于篇幅的原因关于技术的原理就不做多的介绍(每个技术点都可以拧出来写一篇文章，工作量非常大)；第二块内容就是介绍一下环境安装和重要的API，并且提供一个web推理服务；最后一块内容就是展示一下具体的推理案例，在推理速度和推理质量上进行对比
大语言模型LLM推理加速主流框架（LLM系列10）
North_D的博客
02-27 1611
TensorRT集成了多种优化策略，使得LLM模型能在保持准确性的前提下大幅提升推理速度。例如，一个未经优化的BERT-base模型在进行句子分类任务时，通过TensorRT进行转换和优化后，推理速度提升了5-10倍，这对于实时文本分类系统的部署意义重大。
【推理框架】超详细！AIGC面试系列 大模型推理系列(1)
文奇的博客
04-18 4798
本期问题快览 有哪些大模型推理框架 了解vllm吗 介绍下vllm的核心技术 了解faster transformer吗 介绍下faster transformer的核心技术 了解Xinference吗 了解llama.cpp项目吗 llama.cpp项目突出的优势是什么
【AIGC】大模型推理部署框架
LeeZhao的博客
11-21 1765
聚焦AIGC专业技术分享
23个大模型推理框架及量化技术总结：兼看大模型信息抽取框架EDC
Y525698136的博客
10-14 1522
我们来看两个工作，关于大模型量化方法的一些总结以及EDC：大模型用于信息抽取框架。会有一些收获。里面提到23个主流的大模型推理框架以及新的知识图谱构建流程，很有意思
为什么&大模型传不进
12-27
### 解决大模型传输问题的方法 对于大型语言模型（LLM），其体积庞大，导致在网络上传输时面临诸多挑战。为了有效解决这些问题，可以采用多种策略和技术。 #### 使用量化技术减小模型尺寸 量化是一种有效的压缩方法，能够显著减少模型的存储需求并提高计算效率。通过将权重从高精度数值表示转换为低精度数值表示，例如从FP16（16位浮点）降至INT4（4位整数），不仅减少了所需的空间，还降低了内存带宽消耗[^2]。这种方法允许更大规模的语言模型能够在资源有限的情况下部署和高效运行。 #### 利用分布式文件系统优化传输过程 当面对超大规模预训练模型时，单机难以承载整个模型的数据量。此时可借助分布式文件系统来分割并行处理任务。这类系统支持跨多台服务器同步读取写入操作，从而加快下载速度并增强可靠性。此外，还可以考虑使用增量更新机制只传送自上次版本以来发生变化的部分参数而非全部重新发送一遍完整的模型副本。 #### 应用差分隐私保护措施保障安全性和合规性 随着AI系统的广泛应用以及个人敏感信息越来越多地融入其中，确保数据的安全变得至关重要。为此，在不损害性能的前提下实施适当级别的加密算法或模糊化处理手段就显得尤为必要。比如可以在客户端本地完成部分推理工作后再把结果传回云端汇总分析；又或者是利用联邦学习框架让各参与方共同贡献样本而无需暴露原始资料给第三方机构审查验证。 ```python import torch from transformers import AutoModelForCausalLM, BitsAndBytesConfig model_name = "bigscience/bloom" bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", ) model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=bnb_config) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值