论文阅读[23TMC]Edge Intelligence for Adaptive Multimedia Streaming in Heterogeneous Internet of Vehicles-CSDN博客

本文链接：https://blog.csdn.net/woshicaiji12138/article/details/132752017

一、背景

1.1 研究背景

a.移动边缘计算(MEC)通过将计算、缓存和通信资源卸载到网络边缘，是车联网(IoV)实时应用的一种有前途的解决方案；
b.现有方法部分只考虑固定的视频质量，部分基于自适应比特率(ABR)的方案仅为基于云的架构而设计，现有基于ABR的MS方法中没有考虑异构IoV问题。

1.2 研究挑战

a.基于ABR的方案增加了不同质量级别的文件，给边缘缓存带来了挑战
b.MEC服务器在缓存容量的约束下确定的文件质量与动态网络中要被传输的文件质量不匹配

1.3 贡献

a.提出了异构IoV中基于ABR的多媒体流移动边缘计算架构，利用MEC服务器的缓存和通信资源，为不同质量级别编码的文件块提供边缘缓存和传输服务
b.综合边缘缓存和通信资源约束，提出了一个联合资源优化(JRO)问题，旨在通过优化块的放置和传输
c.块放置方面，提出了一种开销低但收敛速度慢的多臂老虎机(MAB)在线调度算法和一种深度Q学习算法，加快收敛速度
d.对于数据块传输，提出了一种基于自适应质量的块选择(AQCS)算法，该算法综合考虑质量、可用播放时间和冻结延迟，从而确定带宽分配和视频质量水平

1.4 论文异构网络概念特点探讨

查阅相关资料，异构网络有如下概念和特点：
a.异构网络是一种类型的网络，其是由不同制造商生产的计算机，网络设备和系统组成的，大部分情况下运行在不同的协议上支持不同的功能或应用（百度百科）
b.区分异构网络和同构网络的本质，是看是否兼容不同的协议（CSDN）
c.异构物联网节点承载不同的操作任务，通常有不兼容的通信协议栈(如WiFi, ZigBee, BLE等)（[2021][GLOBECOM]Resource augmentation in Heterogeneous Internet of Things via UAVs）
综上所述，论文中的异构网络指的是有不兼容的通信协议栈这一情形。

二、系统建模

2.1服务架构

在这里插入图片描述
系统架构由三层组成:云层、移动边缘计算MEC层和移动层。在云端，所有多媒体数据都以文件的形式存储在云资源池中。为了支持ABR流，每个多媒体文件都有多个以不同质量级别(即比特率级别)编码的副本，并且每个块拥有固定的播放时间。在MEC层，每个MEC服务器具有一定的缓存和通信资源。因此，MEC服务器可以提前从云服务器卸载大量文件块到本地缓存，以加速车辆用户的数据检索。这里需要介绍一下冻结延迟的概念，车辆接收了c1、c2、c3、c4数据块，正在播放c3的内容，车辆必须在c4的播放时间用完之前接收后续的块。否则，车辆将遭受冻结延迟，直到收到新的块。

2.2 调度流程

在这里插入图片描述

块放置和传输在两个不同的时间尺度上运行。块放置的单位时间是块传输的多个时间单位。
MEC服务器的详细调度流程如图2所示。在步骤1中，MEC服务器将通过接收其服务范围内车辆的信标消息广播来更新待处理请求的状态，包括请求的多媒体文件ID、接收到的块ID和剩余播放时间。在步骤2中，MEC服务器定期检查时隙，以确定应该做出哪个调度决策。如果是调度缓存放置的时候，则转到步骤3。否则，跳转到步骤4。在步骤3中，MEC服务器做出缓存放置的调度决策，包括文件块的id以及所选择的质量级别, 然后通过有线连接从云端下载块以更新缓存内容。在步骤4中，MEC服务器对每辆车进行分组传输的调度决策。如果MEC服务器缓存了所需的块，那么该块将被推送到发送缓冲区并立即传输。如果所需的块不在本地缓存中，而是由相邻的MEC服务器缓存，则该块将通过有线连接进行迁移（注意是通过有线连接进行迁移，这为后面的延迟时间建模奠定了基础）。否则，将从云层下载数据块。

2.3 联合资源优化(JRO)问题

（1）变量建模
在这里插入图片描述
车辆请求访问块的延迟取决于MEC服务器的缓存条件。当车辆向MEC服务器m请求质量等级为q的块c时，则访问延迟用表示，如式(2)所示，并进行讨论。其中，Nm为m的相邻MEC服务器。和的取值可由块大小和有线带宽决定，有线带宽由第6节的仿真参数指定。
公式10的四个部分分别代表上一个时点的播放时间、增加的播放时间、访问延迟和消耗的播放时间。
对于式11，个人认为冻结延迟的时间建模并不精确。

（2) 多目标优化模型
综合问题的特点，一是最大服务质量，二是最小冻结延迟，因此将联合资源优化JRO问题表述为如下的多目标优化模型：
在这里插入图片描述
平均服务质量(Average Service Quality, ASQ):定义为车辆检索到的所有文件块的平均服务质量之和与车辆总数之比，其计算方法如下:

在这里插入图片描述
平均冻结延迟(AFD):定义为车辆总冻结延迟除以车辆数量的总和，计算方法如下:

在这里插入图片描述

分别表示MEC服务器m是否在时隙tk以质量级别q缓存文件f的块、无线带宽分配比例、质量等级为q的块c属于fv是否计划在t’kl时隙传输。
另外，r(q) 表示质量等级为q的块的服务质量，根据文件块大小的不同被设定为5个固定值。

(3) 约束
在这里插入图片描述
分别表示服务器缓存约束、带宽分配比例约束、z作为0,1变量且一个视频chunk只能选择一种质量的约束、视频chunk被选择不能再次被选择的约束、视频chunk按前后顺序选择的约束和传播容量的约束。

2.3 算法设计

(1) 块放置的多臂老虎机(MAB) 算法
在这里插入图片描述

首先，与老虎机类似，我们假设每个视频块为一个独立的臂，然后系统状态的空间被表示为可选臂的集合，可以公式化为等式（15）。
其中，f、c、a分别表示为文件索引、块索引和所选质量等级。在可用缓存容量欧米茄w的约束下，将块放置决策转化为臂小s的选择。
算法包括决策和Q函数更新两部分，
对于决策:将欧米茄w的值初始化为缓存容量普赛ψ，然后采用-greedy这种贪婪策略迭代确定s*的选择。【具体来说，从区间[0,1]生成一个随机变量ρ，并与预定义的阈值进行比较。当ρ≤ 在这里插入图片描述时，我们随机选择S中的一个元素，否则我们选择Q值最大的元素，即。】
q函数更新:对于每个选择的s，将Q(s)的值更新为历史经验与当前奖励的组合，供下次选择小s时参考，表示为Eq.(16)。
对于奖励R，奖励函数同时考虑接入延迟和服务质量，在这里插入图片描述表示MEC服务器对文件块的访问延迟与最大下载延迟相比减少的时间收益与最大下载延迟的比，（该表达式值越大，表示文件块的访问延迟越小，进一步降低了AFD。）此外，r(q)和Nfcq表示调度期间的服务质量和质量级别为q的属于f的文件块c的请求数量，其中Nfcq只能在调度期间结束时收集。

(2) 块放置的深度Q学习算法
在这里插入图片描述

在这里插入图片描述
在每个调度周期，为了训练深度Q函数向目标值靠拢，损失函数被最小化。目标值y的计算方法如下:

损失函数：

系统状态:将每个MEC服务器m的系统状态定义为一个向量。
其中f，c和欧米茄w表示当前文件索引、块索引和可用缓存容量。【离散变量f和c的维数受|F|和|f|max的约束。系统状态的空间可能非常大，并且不能存储为Q表，因为w是以ψm为界的连续变量。】
系统状态s＝（f，c，w）下的动作a被定义为在缓存容量w下可以选择用于缓存组块的可能质量级别。
在动作a下转换状态s＝（f，c，w）到新状态s’的规则是公式(18)。
算法流程包括初始化、决策和q函数更新三个部分。决策中还是根据贪婪策略来选择action，q函数更新中利用经验回放，从重放内存D中采样的样本更新q函数。

(3) 基于自适应质量的块选择(AQCS)算法
zfv=(c1,c2,q) 表示调度决策, 其中c1和c2分别是调度传输的第一个和最后一个数据块，q是选择的质量级别。
车辆集Ω上的调度决策用在这里插入图片描述表示。
zfv所消耗的无线带宽，用表示。
对于效益函数的设置，
首先，对于调度高质量视频块r(q)的zfv，我们赋予它更高的效益。第二，对于决定zfv，使车辆v有更长冻结延迟时间，表示v更迫切需要服务，给予更高的效益。第三，对于zfv，为v带来更多的可用播放时间，使播放更加流畅，被赋予更高的效益。
在这里插入图片描述

该算法在不同的b下，让所有车辆v的所有决策zfv进行遍历，查找使总效益最大的zfv的集合。如果b不循环，只取最大，势必会造成对每个车辆v遍历决策zfv时，都会选中给对应车辆较大质量文件的决策，这实际上不符合我们的预期。而b的不断增大循环可以有效解决这一问题，算法在循环中可以充分、不断比较不同决策组合的收益情况。

三、实验结果

3.1 数据

中国成都市高新区4km*4km核心区的真实地图从OpenStreetMap下载的;采用SUMO实时生成车辆轨迹，并通过Traci接口定期将相关交通信息导出到调度模块。

3.2 评价指标

ASQ、AFD和平均累积奖励(ACR)
在这里插入图片描述

3.3 对比算法

对于块的放置，采用LFU (Least frequency Used)。
自适应流算法分别是MDP (Markov Decision Process)[32]和RA (Rate Adaptation)

3.4 参数设置

DQN:折扣因子γ设置为0.9，重放内存和minibatch的大小分别设置为10^3和32, 勘探速度є为0.2，并以5 x10^-5递减，直至达到0.01。
模拟区域内车辆到达模式遵循泊松过程，到达率用λ为2880 veh/h
高斯白噪声N0设置为10^-9。MEC服务器与云和MEC服务器之间的有线速率设置为1和10mbps。一个文件块被设置为拥有2秒的播放时间。每个数据块的比特率设置为5个质量级别，其平均大小分别为0.5、1.0、2.0、2.4和3.5 Mb。文件数为3，每个块有5个质量级别。然后，通过文件数、文件平均块数和质量等级数的乘积计算出不同块的总数，大约为1,650。对应的服务质量分别为1、3、6、10、15。

3.5 实验结果

(1) 流量负荷的影响
在这里插入图片描述

在这里插入图片描述

(2) 业务负载的影响

在这里插入图片描述

(3) 缓存大小的影响
果证明了所提出的算法在不同缓存容量下的可扩展性

(4) 无线带宽的影响
本文提出的算法在所有情况下都实现了最高的ASQ和最低的AFD，显示了对不同网络条件的适应性
因为MDP和RA只关心个别车辆的利益，而不考虑车辆之间的公平性。当无线带宽增加时，一些车辆为了提高自身的服务质量，可能占用过高的带宽，而增加了其他车辆更严重的冻结延迟。导致AFD增加。
在这里插入图片描述

(5) 传输功率的影响

四、评价

4.1 优点

a对异构网络中有线传输和无线传输的不同传输延迟进行建模
b块放置算法在不同缓存容量下的可扩展性，在缓存容量较大的情况下可以学习到更好的缓存策略
c基于自适应质量的块选择(AQCS)算法考虑MEC服务器服务范围内的所有车辆的整体收益，当无线带宽增加时，缓解给其他车辆造成严重的冻结延迟的问题

4.2 缺点

a冻结时延的建模存在瑕疵
b研究业务负载、无线带宽和传输功率的影响时，忽略探讨指标ACR
c需要传输的文件质量不一定是被服务器缓存的

4.3 改进

a精细化冻结延迟的建模
b补充在业务负载、无线带宽和传输功率变化时，各方案的指标ACR变化情况
c补充探究自适应质量块选择算法的视频块质量选择范围仅限于该MEC服务器和相邻服务器内已经缓存的视频块质量版本是否对ASQ和AFD产生积极影响
d探究自适应质量的块选择(AQCS)算法中b从0到Bm每次增加阈值对算法效果的影响、是否可以为b重取一个起始值以减少计算开销