【大模型推理】高并发大模型推理服务中的动态实例池构建与资源感知调度策略实战

最近做项目，大模型集群调度，监控模型节点状态， 记录一下深受启发的文章
高并发大模型推理服务中的动态实例池构建与资源感知调度策略实战
超高并发大模型推理服务中的延迟监控体系与实时调优机制构建