基于激活推理的云边计算中大型语言模型推理任务卸载与资源分配方法

题目：Large Language Models (LLMs) Inference Offloading and Resource Allocation in Cloud-Edge Computing: An Active Inference Approach
摘要：随着大型语言模型应用在移动设备上的普及和需求的增加，资源有限的移动终端难以高效地执行大型模型推理任务。传统的基于深度强化学习（DRL）的方法已被用于将大型语言模型（LLMs）推理任务卸载到服务器上。然而，现有的DRL解决方案存在数据效率低下、对延迟要求不敏感以及对任务负载变化适应性差等问题，这将降低LLMs的性能。在本文中，我们提出了一种基于主动推理的大型语言模型推理任务卸载和云边计算资源分配的新方法。大量模拟结果表明，我们提出的方法在数据利用效率方面优于主流DRL，并且更能适应变化的任务负载场景。
作者：Ying He, Jingcheng Fang, F. Richard Yu, Victor C. Leung
论文PDF：https://ieeexplore.ieee.org/document/10591707