Distributed DNN Inference with Fine-grained Model Partitioning in Mobile Edge Computing Networks

Li, H., Li, X., Fan, Q., He, Q., Wang, X., & Leung, V. C. M. (n.d.). Distributed DNN Inference with Fine-grained Model Partitioning in Mobile Edge Computing Networks. IEEE Transactions on Mobile Computing, PP(99), 1–15. https://doi.org/10.1109/TMC.2024.3357874

在移动边缘计算网络中进行细粒度模型分区的分布式深度神经网络推断

模型分区是一种提高分布式推断效率的有希望的技术，通过在边缘服务器（ESs）或物联网（IoT）设备上执行部分深度神经网络（DNN）模型。然而，由于移动边缘计算（MEC）网络中ESs和IoT设备的异构资源，要确保DNN推断速度满足特定的延迟约束并非易事。同时，许多现有的DNN模型具有深度且复杂的架构，包含大量的DNN块，这导致了细粒度模型分区的巨大搜索空间。为了解决这些挑战，我们研究了在ESs和IoT设备之间协作的细粒度模型分区的分布式DNN推断。我们制定了问题并提出了基于多任务学习的异步优势演员-评论家方法，以找到一个竞争性的模型分区策略，从而降低DNN推断延迟。具体而言，我们通过软参数共享将演员网络和评论家网络的共享层结合起来，并将输出层扩展为多个分支，以单独确定每个DNN块的模型分区策略。实验证明，所提出的方法在考虑的MEC网络中通过平均降低总推断延迟、边缘推断延迟和本地推断延迟分别为4.76％、10.04％和8.03％，优于现有技术。

图 1. 移动边缘计算网络中分布式深度神经网络推断的模型分区范例。

图 2. 移动边缘计算网络中带有细粒度模型分区的分布式深度神经网络推断的拓扑结构。

图 3. DNN任务图的表示及带有细粒度模型分区的分布式推断案例。

图 4. 所提出的基于多任务学习的A3C方法在考虑的MEC网络中用于细粒度模型分区的概览。

图 5. 在考虑的MEC网络实验中使用的四个知名的DNN模型：Alexnet、ResNet32、NiN和VGG16。

图 6. 在考虑的MEC网络中，使用默认设置时不同算法的收敛情况。

图 7. 在考虑的MEC网络中，不同学习速率、工作节点和批次大小下，不同情节中的平均奖励。