模型训练与推理加速

LLM大模型推理加速实战：vllm、fastllm与llama.cpp使用指南 (baidu.com)

zRzRzRzRzRzRzR/lm-fly: 大模型推理框架加速，让 LLM 飞起来 (github.com)

这个项目中支持的模型推理加速

 

在部署这些加速框架的时候其实还要考虑对于其他的支持

比如有的不兼容某些模型，有的不支持ddp

flash-attention

2024年7月的时候出了第三代

对于不同长度的序列加速效果不一，

Flash attention 加速效果较差，大约只提升5%的推理速度 · Issue #49 · QwenLM/Qwen (github.com)

在安装的时候不是很轻松，不过不需要再改模型架构了现在的框架支持。

fastllm

有三种方式来使用该框架

• 加载后转换（两行加速模式） (convert on-the-fly)
  将原始模型加载为HuggingFace模型，再通过from_hf()方法，转换并加速，这种方法内存占用大且速度慢，目前不再推荐。

• 离线转换 (convert offline)
  将原始模型转换为.flm格式的模型，一些模型已经转换好。

• 直接读取 (load from Huggingface .safetensors)
  直接读取HuggingFace上发布的模型，仅支持.safetensors格式的模型

模型支持列表

fastllm/docs/models.md at master · ztxz16/fastllm (github.com) 

TensorRT-LLM 

nvidia推出的api也是需要自己在模型构建层重新写 下面是已经有的支持模型

TensorRT-LLM/examples/multimodal at main · NVIDIA/TensorRT-LLM (github.com)

这个页面给出的教程是你先在huggingface上下载然后通过代码转换为tensorRT-LLM结构