TOWARDS ROBUST AND EFFICIENT CLOUD-EDGE ELASTIC MODEL ADAPTATION VIA SELECTIVE ENTROPY 论文阅读

paper: 2402.17316 (arxiv.org)

code:https://github.com/chenyaofo/CEMA

传统的深度学习范式通常涉及在服务器上训练深度模型，然后将模型或其提炼出来的模型部署到资源有限的边缘设备上。通常，模型在部署后(至少在一段时间内)应该保持固定，因为对服务器端和边缘端进行模型调整的潜在高成本。然而，在许多实际场景中，测试环境可能会动态变化(称为分布变化)，这通常会导致性能下降。因此，人们必须迅速调整边缘模型以获得有希望的性能。此外，随着在边缘收集的数据越来越多，这种模式也无法进一步调整云模型以获得更好的性能。
为了解决这些问题，我们遇到了两个主要挑战:1)边缘模型的计算能力有限，可能只支持前向传播;2)在延迟敏感场景下，云和边缘设备之间的数据传输预算有限。在本文中，我们建立了一种云边缘弹性模型自适应(CEMA)范式，其中边缘模型只需要进行前向传播，边缘模型可以在线自适应。在我们的CEMA中，为了减少通信负担，我们设计了两个标准来排除不必要的样本上传到云，即动态不可靠和低信息量的样本排除。基于上传的样本，采用样本重放策略，从强基础模型提取到边缘模型，更新和分配归一化层的仿射参数。在ImageNet-C和ImageNet-R上的大量实验结果验证了我们的CEMA的有效性。

1 INTRODUCTION 介绍

深度神经网络(dnn)在计算机视觉的广泛应用中取得了显著突破(He等人，2016;Dosovitskiy等人，2021)到自然语言处理(Radford等人，2018;Brown et al, 2020)。在实际应用中，dnn的传统部署流程如下:1)在云服务器上训练大型/基础模型，2)将大型/基础模型提取/压缩为较小的模型，部署在边缘设备中，用于延迟敏感应用。当测试样本与训练样本共享相同的分布时，该管道获得了巨大的成功。然而，在现实世界的边缘设备中，环境可能会动态变化，测试样本的分布与训练样本的分布是不同的。这种分布变化通常是由自然变化或腐败造成的，例如照明和传感器退化的变化(Hendrycks & Dietterich, 2019;Koh et al, 2021)。在这种情况下，模型可能会出现显著的性能下降(Wang et al .， 2021;Zhang et al .， 2022a)。为了处理分布转移，以前的方法寻求更新边缘模型，大致可以分为两类:i)离线概化方法在云中执行，然后将更新的模型分发到边缘设备。具体而言，无监督域自适应方法(Zhang et al .， 2020;Liang等，2020;邱等，2021;Lin et al .， 2022)以离线方式对收集的测试数据进行模型自适应。领域泛化方法(LiEt al, 2018;Dou等人，2019)在训练时预先预测可能的测试偏移，其中可能的偏移可以通过元学习方案进行模拟。然而，由于在训练时很难预先预测所有未知的变化，它们可能会产生较差的性能。ii)在线泛化方法通过将模型与测试数据相适应，直接学习位移。最近，测试时间训练(Sun et al .， 2020;Bartler et al, 2022)和完全测试时间适应(TTA)方法(Wang et al, 2021;Niu等，2022;2023)是新设计的，以在线方式使模型适应测试域，这在实际应用中更实用。然而，它们执行反向传播的计算量可能很大，这在资源有限的边缘设备中可能负担不起。此外，云中的基础模型也需要利用边缘的测试样本不断更新。为了解决上述问题，可以将所有测试样本上传到云中，以适应基础模型和边缘模型，从而同时利用云和边缘。然而，这仍然是非常具有挑战性的:1)云和边缘之间的数据通信负担可能很重。因为通信开销主要受上传样本数量的影响。这不仅降低了云中的自适应效率，而且消耗了云边缘系统中有限的带宽。2)如何利用基础模型来提高边缘模型在分布偏移测试数据上的性能是一个有待解决的问题。通常，云计算比边缘计算有更丰富的计算资源和预算。在这种情况下，云能够支持更繁重的计算，并利用更复杂和更强大的模型进行适应。

在本文中，我们提出了一种云边缘弹性模型自适应(CEMA)范式，该范式以云边缘协作的方式执行动态模型自适应，而不是使用固定模型进行推理。如图1所示，我们将所有适应工作负载委托给云，因此只需要在边缘上进行普通的推理。为了减少通信开销，我们排除了两种类型的样本上传到云:1)通过动态熵阈值方案识别的高熵不可靠样本;2)使用不变阈值方案识别具有低熵的低信息样本。基于此，我们的CEMA大大减轻了沟通负担。为了充分利用基础模型中丰富的知识，通过知识蒸馏来指导边缘模型进行自适应。为了提高上传样本的数据利用率，我们设计了一个重放缓冲区来存储和重用这些样本。我们基于新上传的样本和来自重放缓冲区的样本将基础模型提取为边缘模型。通过这种方式，我们的CEMA获得了比普通自适应更好的性能。
主要创新与贡献:1)建立了一种基于云边缘弹性模型自适应(CEMA)的高效协同模型自适应范式。我们的CEMA是一个通用范例，适用于在线适应边缘模型，以适应新的动态变化的环境。2)我们通过执行基于重播的熵蒸馏来提高边缘模型的自适应性能，该方法使用样本重播策略最小化预测熵和边缘模型与基础模型之间的KL散度。3)我们通过设计基于熵的标准来排除上传的不可靠和低信息量的样本，从而降低了通信成本。
实验结果表明࿰