LLM大模型推理加速实战:vllm、fastllm与llama.cpp使用指南 (baidu.com)
zRzRzRzRzRzRzR/lm-fly: 大模型推理框架加速,让 LLM 飞起来 (github.com)
这个项目中支持的模型推理加速
在部署这些加速框架的时候其实还要考虑对于其他的支持
比如有的不兼容某些模型,有的不支持ddp
flash-attention
2024年7月的时候出了第三代
对于不同长度的序列加速效果不一,
Flash attention 加速效果较差,大约只提升5%的推理速度 · Issue #49 · QwenLM/Qwen (github.com)
在安装的时候不是很轻松,不过不需要再改模型架构了现在的框架支持。
fastllm
有三种方式来使用该框架
-
加载后转换(两行加速模式) (convert on-the-fly)
将原始模型加载为HuggingFace模型,再通过from_hf()
方法,转换并加速,这种方法内存占用大且速度慢,目前不再推荐。 -
离线转换 (convert offline)
将原始模型转换为.flm格式的模型,一些模型已经转换好。 -
直接读取 (load from Huggingface .safetensors)
直接读取HuggingFace上发布的模型,仅支持.safetensors格式的模型
模型支持列表
fastllm/docs/models.md at master · ztxz16/fastllm (github.com)
TensorRT-LLM
nvidia推出的api也是需要自己在模型构建层重新写 下面是已经有的支持模型
TensorRT-LLM/examples/multimodal at main · NVIDIA/TensorRT-LLM (github.com)
这个页面给出的教程是你先在huggingface上下载然后通过代码转换为tensorRT-LLM结构