大模型推理加速开源框架简介

1. FasterTransformer（FT）

简介：NVIDIA推出的用于实现基于Transformer的神经网络加速引擎，包含Transformer块的高度优化版本的实现，其中包含编码器和解码器部分，可用于编码器-解码器架构模型（T5）、仅编码器架构（BERT）和仅解码器架构模型（GPT）的推理。FT基于C++/CUDA编写，依赖多个优化库。目前，FT支持Megatron-LM GPT-3、GPT-J、BERT、ViT、Swin Transformer、Longformer、T5 和 XLNet 等模型，适用于V100、A10、A100等GPU，其支持矩阵可以从https://github.com/NVIDIA/FasterTransformer#support-matrix查看。详细的使用方法介绍可以从相应的网站获得。
特点：支持多个LLM，配置过程相对较简单，先安装FT相应的环境，然后下载对应模型的参数，将其转换为FT格式，即可进行加速。配置推理加速环境教程可参考https://zhuanlan.zhihu.com/p/626008090。

2. FlexFlow-Serve

简介：一个开源编译器和分布式系统，用于低延迟、高性能LL