User-Centric UAV Deployment and Content Placement in Cache-Enabled Multi-UAV Networks-文献阅读

缓存支持的多无人机网络中以用户为中心的无人机部署和内容放置- 仅是个人组会汇报记录
原文：https://ieeexplore.ieee.org/abstract/document/9716752/

研究背景

在如今这个大数据时代，5G和各种应用都快速发展，无线数据流量急剧增加。基于这种情况，已有的研究提出引入边缘缓存，将热门内容缓存到边缘服务器中。边缘服务器的引入可以显著提高用户体验质量，减轻网络的流量负荷。而无人机成本低、部署灵活且有一定的缓存能力，正好可以作为边缘服务器进行辅助。那么引入无人机作为辅助的话则需要对无人机的部署以及由于无人机的缓存能力有限，需要对内容缓存进行优化选择。而已有的研究基本基于用户位置对无人机进行部署，却很少考虑到用户活动分布对无人机部署的影响。且对于未知流行度内容的已有研究大部分是基于传统的“预测再优化”的模式，这种模式的灵活性明显不足。便于阅读，将背景分点列出：

• 随着5G和各种应用的快速发展，无线数据流量急剧增加。引入边缘缓存，将热门内容缓存到边缘服务器中，可以显著提高用户的体验质量，减轻网络的流量负荷。
• 无人机具有成本低、部署灵活、机动性强等优点，同时，无人机可以提前缓存热门内容，减少回程流量负荷。
• 已有的研究都是基于用户位置进行无人机部署，却很少考虑用户活动水平分布对无人机部署的影响。
• 对于未知流行度内容的已有研究大部分是基于传统的“预测再优化”的模式，这种模式的动态适应能力并不好。

研究内容

这个部分主要介绍建模过程以及问题的提出与分析。

系统建模

网络模型

• 无人机集合为M = {1，2，…，M}，且每个无人机的缓存能力为 L bits；
• 用户集合为U = {1，2，…，U}；
• W = {w1,w2,…,wM}，代表无人机的位置；
• 在时隙t，内容库被定义为Ft = {1，2，…，Ft}；
• 在时隙t，内容的流行度的集合被定义为Pt
• 用户的活跃水平的集合定义为V
• 用户u在时隙t的请求集合定义为qtu，qtu,f∈{0,1}代表着用户是否请求f

传输模型

应用的就是比较常规的传输模型，视距与非视距模型。

• 路径损失
  
  用仰角和环境表示
  

• 平均路径损耗
  

• 无人机m与用户u之间的传输速率
  -

延迟模型

每个时隙t都分为两个阶段，第一个阶段是内容的传递，第二个阶段是内容放置。

（1）内容传递

每个用户的请求都由同一集群中的UAV服务。若用户请求 f 时，相应集群中的UAV有缓存 f ，那么UAV无需从基站中获取内容 f ，可以直接将内容 f 发送给用户。这样能有效减少时延。

（2）内容放置

简单来说就是，UAV的缓存容量有限，但用户的请求又是动态的，UAV不可能缓存到用户所需的所有内容。于是，选择什么内容缓存在UAV中也是一个问题，就是内容放置。

问题提出

优化目标：在有限的时间跨度内最小化平均传输时延

因为优化的目的都是为了让用户有更好的体验，本文将这个问题转换为数学模型P1，即在有限的时间跨度内最小化平均传输时延。

• 𝛿 是指在时隙t所有用户请求的延迟总和；
• Nt 是在时隙t所有用户的请求总和；
• 下面四条是约束条件，第一条是对每个无人机的缓存能力限制，第二、三条是每个无人机的位置限制；
• 𝑐_(𝑚,𝑓)^𝑡是指无人机m是否有缓存内容f为了更好的实现优化，将这个问题分解为两个子问题：无人机的部署优化、内容放置的优化。

问题分析

首先解决无人机部署问题，即根据用户需求分布优化所有无人机的位置。 在无人机部署后，根据区域内的本地用户需求优化每架无人机的缓存策略。

无人机部署的优化

实际上就是在介绍算法流程

加上我个人的理解：
基于加权k-means聚类算法对无人机位置进行部署：
（1）随机初始化 M 个质心 ，对应有M个簇；
（2）计算簇内所有用户到质心的距离；
（3）用户根据与所有质心的距离就近分配到簇中；
（4）根据公式重新计算新的质心；
（5）重复步骤（2）-（4），直到质心的改变数量少于αM时停止。

内容放置的优化

加上我个人的理解：
基于Q-learning算法的无人机内容放置:
（1）初始化action次数N以及Q值；
（2）对无人机m中所有缓存内容，观察reward，根据Q-learning的Q值更新公式更新Q值，action次数增加；
（3）根据加入Q值扰动项的公式计算𝑸 ̅值；
（4）将所有缓存内容对应的𝑸 ̅ 值按非递增的顺序排列；
（5）当无人机缓存内容超过无人机的缓存容量时，就会根据步骤（4）中的𝑄 ̅ 值顺序淘汰超出缓存容量的内容。

仿真结果

将本文算法与其他一些算法比较

总结与收获

总结
本文提出一个基于流量的用户聚类算法，是一个联合优化框架，综合考虑了用户活动水平和用户位置对于无人机部署的影响，从而可以降低请求时延并提升用户的体验质量。此外，设计了基于Q学习的缓存算法，以适应动态的内容库。

创新点

• 提出了一种考虑用户活动水平和用户位置的加权k-means聚类算法来对无人机进行部署。
• 设计了一种基于Q-learning的缓存算法，以适应动态内容库。
• 在不同的实验场景下，与其他两种算法进行了比较，证明了所提出的算法在性能方面的优越性。