读论文[2023][BMSB]Video Stream Caching Based on Digital Twin Cooperative Caching

Video Stream Caching Based on Digital Twin Cooperative Caching

Published in: 2023 IEEE International Symposium on Broadband Multimedia Systems and Broadcasting (BMSB)

1背景

边缘计算能够满足多类型终端和应用服务对计算、存储、服务的需求，能够推动6G在更多行业和领域的应用。与云计算相比，multi - access边缘计算在处理延迟、处理能耗、隐私性、安全性等方面具有较强的优势[9]。边缘计算通过在移动用户(mu)附近部署高性能服务器，将IT能力和云计算能力扩展到设备端。移动用户可以根据任务要求将任务卸载给MEC。
MEC通过就近部署提高了计算能力，缓解了网络压力[9]。当大量并发任务同时发送请求时，单个MEC资源无法满足任务需求，且无法保证处理效率，因此多台边缘服务器协同处理成为趋势。
然而，现有技术很少考虑数字孪生(DT)技术。通过深度强化学习实现DTEN的计算卸载的研究需要引起研究者的更多关注。

2贡献

1)提出了基于DTEN的计算卸载框架，该框架由数字孪生网络层和物理实体层组成。
2)在介绍数字孪生边缘网络计算卸载框架的基础上，首先介绍了局部计算模型和带DT的边缘计算模型，然后提出了数字孪生协同缓存模型(DTCCM)。
3)通过仿真验证了算法的性能。最后，给出了结论。

3系统建模

3.1 视频流缓存应用场景

数字孪生与MEC的结合成为当前的研究热点。数字孪生边缘网络的关键组成部分是数据、模型、映射和交互。数字孪生系统由物理实体层、数字孪生层以及物理实体层与数字孪生层之间的实时交互组成。
本文的物理实体层包括移动用户设备、移动边缘服务器、基站等，随后，数字孪生层由数据中心、孪生模型、孪生管理模块三部分组成。在第一部分中，作为关键角色的数据中心可以存储大量的MU信息、MES信息、计算信息和网络信息。在第二部分中，虚拟模型是物理层中相应物理实体的映像，由虚拟MU模型、虚拟网络模型、虚拟MES模型等组成。最后，孪生管理模块由信息更新、模型更新和虚拟网络管理三个部分组成。
利用数字孪生技术可以获取DT层物理设备的属性和状态，并对其进行及时维护。因此，监测物理实体的动态变化，优化和预测智能系统计算卸载任务可以成为现实。
如图1所示，大量的mu分布在多个区域。单个区域对应一个MESC(移动边缘服务器集群)，它由物理层中的多个MESs(移动边缘服务器)组成。假设产生集合Q ={1,2,3，…，q}的区域数为q，单个区域中的MU数为m，该区域的集合为M ={1,2,3，…，m}。同时，MESC(移动边缘服务器集群)中MESs(移动边缘服务器)的数量为k，则MESs的集合为K ={1,2，…k}。

3.2 数字孪生协同缓存模型

在图2中，数字孪生协同缓存模型(DTCCM)由MESCs中的MUs和MESs、DT层和基站组成。在DTCCM的第一步中，如果MU m生成的任务m没有在本地缓存中查询到，则请求DT层查询边缘服务器缓存。然后在第二步中，DT层嵌入MU m请求的任务m，并将其与DT层获得的MESs缓存嵌入进行实时匹配。最后，在第三步中，该区域的MESs和其他区域的cache-cooperative MESs将缓存结果返回给MU m。上述过程可以写成:

Hm代表缓存命中。因此，Hm=0表示本地缓存命中成功，Hm=1表示DT辅助的协作缓存命中成功，Hm=2表示本地缓存和DT协作缓存命中任务m失败。

首先，DT层与物理实体层之间的实时交互是系统的核心。从下面的示例中，可以知道区域q中的剩余内存(ℇq)是否可以容纳所有卸载任务的结果。不久之后，DT层获得任务，这些任务将由MESC在区域q中计算。并且如果，DT层根据历史任务向MESC发送指令，释放最近T个时隙中的空间。DT层计算中每个任务的适合度并实时获得缓存空间，则适合度可以写成：

其中，q、i、c分别表示区域号、任务号、任务i在区域q中的缓存内容。其中，Ec和Ei为缓存内容c和任务i的嵌入。其中，Fi和Favg为任务i的增强频率和最近∆T时间段内完成任务的增强频率的平均值。是一个缩放因子，可以用来调整任务发生的频率。其中分别为微处理器和mesc的计算任务消耗。是MU在区域q中生成这样一个任务的概率。4)其次，在执行上述删除和添加操作后，如果当前区域的缓存与其他区域的缓存重叠，并且重叠区域在当前区域的任务中适应度较低，则在缓存q中删除该任务，并根据适应度添加其他内容，如下面的算法1。

4实验结果

在本节中，我们验证了基于任务分类和缓存嵌入的协作缓存算法的优越性。在模拟中，多个用户将其任务卸载到边缘服务器集群上以加速计算。用户经常生成不同类型的任务，因此我们根据输入、输出和CPU时钟的高低将任务大致分为8类。任务的输入服从[5,20]和[20,100]kb两个均匀分布，任务的输出服从[1,2]和[2,4]kb两个均匀分布，所需CPU时钟服从[1e5,1e6]和[1e6,1e7]两个均匀分布。
DDPG模型中演员网络和评论家网络的学习率分别设置为0.0001和0.0002。经验池容量为10000个，每个训练步骤的批大小为50个。我们训练模型300次迭代，每次迭代200步。
在图3中，MEC系统的总成本随区域内用户数量的变化如图3所示。当mu数量小于10时，将任务卸载到边缘服务器上可以降低系统成本。随着用户数量的增加，分配给每个任务的计算资源变得不足，卸载的总成本甚至高于本地计算。

图4显示了MESC计算资源对系统总成本的影响。将每个边缘服务器的计算资源设置为6 GHz，并在每个MESC中分别设置服务器数量为1、2、3个进行实验。在每一种策略中，随着计算资源的增加，系统成本逐渐降低。本地计算策略下的成本与MEC服务器的计算资源相同。如果将所有任务都卸载到MESC上，则分配给每个任务的计算资源将不足，并且在MESC容量有限的情况下，系统成本甚至比本地计算更糟糕。随着MES容量的提高或MES数量的增加，计算卸载的优势变得明显，边缘计算成本和传输成本之和仍然低于局部计算成本。无论MESC的计算能力如何，部署缓存都可以避免大量的计算，降低计算成本。协作缓存在避免额外计算方面具有更好的性能，并且在缓存中引入嵌入向量可以进一步降低查询成本，同时缓存命中率略有下降。