m0_37617067的博客

本文旨在搭建distserve docker镜像，并运行offline exmaple和server模式。

—生成式大型语言模型（LLM）应用正在快速增长，导致大规模部署昂贵且耗电的GPU。我们对LLM推理的特性进行了研究，发现每个推理请求都会经历两个阶段：计算密集型的提示计算（prompt computation / profilling）阶段和内存密集型的生成（token generation / decoding）阶段。每个阶段在延迟、吞吐量、内存和功耗方面都有不同的特性。尽管有最先进的批处理和调度技术，生成阶段的计算资源利用率仍然较低。