SpotServe: Serving Generative Large Language Modelson Preemptible Instances

SpotServe 面临的主要挑战是如何应对实例的频繁抢占和重新分配，以及如何动态地调整模型并行化策略来适应实例的可用性和负载的变化。SpotServe 的主要创新包括：

（1）动态重并行化，根据实例的可用性和请求的到达率，动态地选择最优的模型并行化配置，平衡吞吐量，延迟和成本之间的权衡；

（2）实例迁移，利用二分图匹配算法，找到一个最优的实例映射方案，最大化地重用现有实例上的模型参数和中间结果，最小化迁移的通信开销；

（3）利用宽限期，利用云平台提供的宽限期，在实例被抢占前，将推理进度以更细粒度的方式提交，并在其他可用实例上恢复推理。