【文献阅读】移动边缘计算中基于CNN模型分割的计算适配和负载均衡研究_黄煜

论文原链接：移动边缘计算中基于CNN模型分割的计算适配和负载均衡研究

缩写词

MEC：移动边缘计算；
CNN：卷积神经网络；
QoE：体验质量；
LB：负载均衡；
ITM：反变换方法；

摘要

原本集中在核心网的算力，下沉到边缘云，在边缘节点部署AI模型是提高QoE的手段。
遇到的问题：资源受限、传统负载均衡策略对AI服务流量进行转发会增大平均时延。
本文主要研究内容：MEC中的计算适配方案和算力路由策略。
完成的工作：设计了一个分布式微服务框架。
提出了一套自适应权重轮询负载均衡策略

第一章 绪论

研究背景和意义

MEC的好处在于时延更短，避免了数据发送到云端产生的时延。然而边缘节点的资源匮乏，无法单独完成AI大模型推理，为了解决这一问题，有几个方案：1是联邦边缘学习，2是设计边缘AI推理模型，这些虽提高了计算资源的利用率，但是没有从硬件算力角度解决问题。3是将AI模型压缩为轻量化版本，但是不适合精度较高的场景。4是模型分割，由于用户流量的随机分布等原因，会造成较大的延时响应。
LB策略可以解决流量分配不均的问题，但是简单的采用也不能取到很好的效果。
体现出了研究适用于AI微服务的负载均衡策略的重要性。

移动边缘计算的发展概述

MEC将计算和数据存储能力放在离用户更近的地方。这一小节介绍了边缘计算的硬件设备和常见的适用场景，证明了该课题的合理性。

移动边缘计算中面向边缘智能业务的关键技术概述

描述了计算卸载技术的实现流程，和分布式计算的流程。为了避免边缘节点过载，引入了负载均衡机制，作者介绍了一些主流的负载均衡算法。

第二章 移动边缘计算中的分布式计算和负载均衡技术

针对边缘智能业务的分布式计算技术

主要讲了模型拆分和分布式推理，引出了节点之间的数据传输吞吐量与CNN网络结构、节点硬件性能的函数关系该如何建模，然后开始介绍Roofline模型。

Roofline模型揭示了物理节点实际吞吐量和CNN模型计算强度的关系。

面向边缘智能业务的负载均衡技术

介绍了国内国外的研究现状，描述了几种不同的均衡技术算法。

第三章 面向边缘AI计算的异构计算适配框架

这一章设计适应于异构边缘计算网络的高性能分布式计算框架RoofSplit

基于CNN模型分割的计算适配技术

MB代表受带宽的限制，CB代表受计算芯片的性能限制。我们需要寻找最佳分割点。所获得的结果是根据实际的实验结果得到。
软件方式就采用CNN的方式，利用Pytorch提供的children函数，从完整模型中提取两个子模型并创建临时对象。

计算适配框架设计与实现

架构包括硬件层、系统层、操作软件层。作者在这里做了动态分割实验，来验证最佳分割点的有效性和存在性。作者又做了RoofSplit和完整CNN的内纯占用对比，得出RoofSplit的内存占用更少的结论。

面向边缘AI微服务的自适应负载均衡策略

本章设计了一种自适应算力路由策略，选取的强化算法为TD3，用来动态调整每个客户端负载的均衡权值。