Transformer-Lite: High-efficiency Deployment of Large Language Models on Mobile Phone GPUs

本文是LLM系列文章，针对《Transformer-Lite: High-efficiency Deployment of Large Language
Models on Mobile Phone GPUs》的翻译。

摘要

大语言模型（LLM）广泛应用于智能助手、文本摘要、翻译和手机多模态等任务。然而，当前用于设备上LLM部署的方法保持较慢的推理速度，这导致较差的用户体验。为了促进LLM在设备GPU上的高效部署，我们提出了四种优化技术：（a）支持动态形状模型推理的基于符号表达的方法；（b） 操作员优化和执行优先级设置，以提高推理速度并减少电话滞后；（c） 称为E0M4的FP4量化方法，以减少去量化开销；（d） 一种基于子张量的技术，以消除在LLM推断之后复制KV缓存的需要。此外，我们在移动推理引擎Transformer Lite中实现了这些方法，该引擎与高通公司和MTK处理器都兼容。我们使用LLM评估了Transformer Lite的性能，LLM具有从2B到14B不等的各种架构和参数。具体而言，我们为ChatGLM2 6B实现了121token/s和14token/s的预填充和解码速度，为较小的Gemma 2B分别实现了330token/s和30token/s的解码速度。与基于CPU的FastLLM和基于GPU的MLC-LLM相比，我们的引擎预填充速度提高了10倍以上，解码速度提高了2~3倍。

1 引言

2 方法

3 实验

4 相关工作