Efficient LLM Scheduling by Learning to Rank

本文是LLM系列文章，针对《Efficient LLM Scheduling by Learning to Rank》的翻译。

摘要

在大型语言模型（LLM）推理中，LLM请求的输出长度通常被视为先验未知。因此，大多数LLM服务系统采用简单的先到先服务（FCFS）调度策略，导致前端（HOL）阻塞，降低吞吐量和服务质量。在本文中，我们重新审视了这一假设——我们表明，尽管预测每个请求的确切生成长度是不可行的，但通过学习排名，可以预测一批请求中输出长度的相对排名。排名信息为安排请求提供了宝贵的指导。基于这一认识，我们开发了一种用于LLM推理和服务的新型调度器，该调度器可以比现有方法更好地近似最短作业优先（SJF）调度。我们将此调度器与最先进的LLM服务系统集成在一起，并在几个重要应用中显示出显著的性能提升：聊天机器人服务的延迟降低了2.8倍，合成数据生成的吞吐量提高了6.5倍。我们的代码在https://github.com/hao-ai-lab/vllm-ltr.git上可用。

1 引言

2 相关工作