论文学习笔记1

论文学习笔记📌

🏷️文献基本信息

Energy-Efficient Trajectory Optimization for Aerial Video Surveillance under QoS Constraints

• 期刊信息：IEEE INFOCOM 2022 - IEEE Conference on Computer Communications

• 研究方向：

  👇UAV Communication👇

  • Energy Consumption，Trajectory Optimization

---

📑文献基本内容

• 🌇研究场景

  监视无人机通过蜂窝为用户提供视频监控服务

• ⭕研究目的

  QoS 约束下最小化能耗
  P ( 1 ) : m i n T , { u ( t ) } , { z m ( t ) } ∫ t = 0 T P u ( t ) d t s . t . z m ( t ) ∈ { 0 , 1 } , ∀ m , t   ∑ m = 1 M z m ( t ) ≤ 1 , ∀ t m a x t ∈ [ 0 , T ] ( t − L ( t ) ) ≤ δ    ∣ ∣ v ( t ) ∣ ∣ ≤ V m a x , ∀ t   u ( 0 ) = u I , u ( T ) = u F P(1):\underset{T,\{{\bf u}(t)\},\{z_m(t)\}}{min}\int_{t=0}^{T}{P_u(t)dt}\\ s.t.\qquad z_m(t)\in\{0,1\},\forall m,t\\ \qquad\,\sum_{m=1}^{M}{z_m(t)\leq 1},\forall t\\ \qquad\quad\underset{t\in[0,T]}{max}(t-L(t))\leq \delta\\ \qquad\,\,||{\bf v}(t)||\leq V_{max},\forall t\\ \qquad\qquad\,{\bf u}(0)={\bf u}_I,{\bf u}(T)={\bf u}_F P(1):T,{u(t)},{zm​(t)}min​∫t=0T​Pu​(t)dts.t.zm​(t)∈{0,1},∀m,tm=1∑M​zm​(t)≤1,∀tt∈[0,T]max​(t−L(t))≤δ∣∣v(t)∣∣≤Vmax​,∀tu(0)=uI​,u(T)=uF​

• 🧰研究方法

  • 方法 1

  图论和凸优化

  • Dijkstra Algorithm

  • Convex Optimization 、GS-search

  • 方法 2

  深度强化学习DRL

  • 深度Q网络 (DQN)

    • 🔗Tricks:

      Double DQN，Dueling DQN，Prioritized Reply

• 📐研究思路（技术路线）

  • Graph Based Solution🧠

    问题重构 $P(1)$ $\to$ $P(2)$ [时间序列] $\to$ $P(3)$ [点集+时段]

    求解 $K,\Pi ,W,T$

    1. Dijkstra Algorithm 解得 $K^{\ast },{\Pi }^{\ast }$

    2. Alternating Optimization $P(6)\iff P(10)$ 解得 $W^{\ast },T^{\ast }$

• DRL Based Solution🧠

  构建 MDP（马尔可夫决策过程）

  • ***State：***UAV水平坐标（连续空间）

  • Action： UAV飞行方向（离散空间，$\kappa$个方向）

  • State Transition：
    $$U_{n+1}=U_n+\Delta \overrightarrow{V_n}$$

  • Reward：
    $${\bar{R}}_n=\{\begin{array}{ll}{\bar{R}}_{des}-\lambda E_n^{\ast }-I_{n+1},& U_{n+1}=U_F\\ -\lambda E_n^{\ast }-I_{n+1},& \text{otherwise}\end{array}$$
    其中，${\bar{R}}_{des}$终点奖励，$-\lambda E_n^{\ast }$能耗惩罚，$-I_{n+1}$中断惩罚。

📊研究结果（仿真）

• $Fig.1.(a)$ 随着 $\delta$ 的增加，访问的 $BSs$ 的数量会减少，因为放宽了约束，无人机倾向于直接飞往目的地，这使得无人机的能耗更少。

• $Fig.1.(b)$ 无人机在基站的覆盖区域内以能量最小化速度（18m/s）飞行，并且在超出这些覆盖区域时会增加速度。

• $Fig.2.(a)$ 在给定路径长度 $\Delta$ 的情况下，无人机能耗与无人机速度的关系图

  随着无人机速度的增加，旋翼无人机的能耗先减小后增大，通过 GS-search 可以有效求解最小值。

• $Fig.2.(b)$

  1. Completion time minimization benchmark ：Max speed

  2. Power efficient benchmark : Power efficient speed

  3. Energy minimization straight-line flight（Lower bound）：Optimal speed（straight）

  Algorithm1 在满足QoS要求的同时比其他基准方案消耗更少的能量，当 $\delta$ 增加时，性能增益更加明显。

• $Fig.3$ 基于 DRL 的 Algorithm2，无人机试图通过避免覆盖漏洞或在覆盖漏洞中停留不超过 $\delta$ 的方式飞往目的地，从而可以满足QoS要求。

• $Fig.4.(a)$

  当 $R_{min}>0.4Mbps$ 时，基站覆盖区域缩小，Algorithm1 不存在可行路径，因此无法得到可行解。

  然而，基于 DRL 的 Algorithm2，无人机会通过与特定的本地环境交互来学习如何避免覆盖漏洞，使最大速率中断持续时间低于阈值。

• $Fig.4.(b)$ 能量最小化直线飞行实现了无人机能量消耗的下限，但由于忽略了QoS要求，导致了更大的速率中断持续时间。

---

🧩扩展资料🧩

• 版权所有： 清华大学🏫

♟️DQN扩展

🎲Tricks

1. Dueling DQN：减小方差

2. Double DQN：避免 Q 值高估

3. Experience Replay：避免 Q 学习过程中由于数据相关性产生发散

​ CSDN扩展链接👈

---

✍️ 小方块xfk

📅 写于 2022年10月