【004-RL-CC】*Self-learning congestion control of MPTCP in satellites communications

1 基本信息

ID: 004

Available: https://ieeexplore.ieee.org/document/8766465

---

作者：Tianle Mai; Haipeng Yao; Yaqing Jing; Xiaobin Xu; Xiaolong Wang; Zhe Ji

---

机构： Beijing Advanced Innovation Center for Future Internet Technology, Beijing University of Technology, Beijing, China
Beijing University of Posts and Telecommunications

北京工业大学，北京未来互联网技术高精尖创新中心，北京邮电大学

---

发表会议：IWCMC 2019

IEEE国际无线通信和移动计算会议，The International Wireless Communications and Mobile Computing Conference (IWCMC)
IEEE组织举办的在国际上享有盛誉的无线通信会议
B类会议

---

标题：Self-learning congestion control of MPTCP in satellites communications

应用于卫星通信的MPTCP自学习拥塞控制

---

算法：DDPG

Deep Deterministic Policy Gradient (DDPG)
DDPG是AC算法的优化版本（AC算法由于有两个神经网络都需要梯度更新，因此难以收敛）,它结合了基于策略的方法和基于价值的方法。
基于DDPG的CC: 优点比DQL更适用于复杂环境；缺点适用于少部分环境，训练困难。

---

场景：MPTCP in satellites communications

多路径TCP, multi-path TCP, MPTCP
TCP本质上是一种单路径协议，建立TCP连接时，此连接将绑定两个通信主机的IP地址，若任何一个地址变化，则连接失败。TCP连接甚至无法在网络中的多个路径实现负载平衡，因为这会导致数据包重新排列，TCP会把重新排序误解为拥塞，从而减慢发送速率。（例如，你在X店铺买了1000件包裹，这1000件TCP必须用一条路传送，即使还有其他路可以同时分派=>手机WIFI信号丢失，若迁移到其他工作接口4G，每次切换都要重新建立TCP连接）

而MPTCP则允许单个传输连接同时使用多个路径。（例如，小明从谷歌学术下载一篇文献，MPTCP建立一个子流用WIFI传输、一个用4G（每个子流类似常规TCP连接））

卫星通信，satellites communications：利用人造地球卫星作为中继站转发无线电波。（是否可以这样理解？卫星通信——发射个卫星做媒婆；移动通信——建个基站做媒婆:)）

2 内容概述

2.1 问题

卫星通信网络有动态性且有时变流。主要特征是高带宽、高弹性。代表应用之一是视频流。在卫星通信网络中，频繁的卫星切换会导致严重的问题，例如路由故障、数据包阻塞和信道质量影响。MPTCP可以实现无缝切换、提升吞吐量。而MPTCP中传统CC无法适应动态、复杂的网络环境。

2.2 方法

为了解决这些问题，此文基于DDPG设计了多路径TCP CC。

• states: CWND, RTT, the number of packets failing to receive the ACK packet, and the cumulative rate number of retransmissions
  

• actions: CWND
  

• rewards: CWND, RTT, the number of packets failing to receive the ACK packet, and the cumulative rate number of retransmissions
  
  
  

2.3 结果

通过衡量考虑每个子流的重传率、RTT和the number of packets failing to receive the ACK packet，算法降低了切换频率。

2.4 评价

pros: Deal with the high-dimensional state space and continuous action spaces with high efficiency and feasibility.
DDPG模型有能力高效处理卫星网络多维state space和连续action spaces。

cons: Inadequate comparative experiments.
此研究中，没有将设计的算法与其他MPTCP算法进行对比，因此一些性能（例如fairness）无法衡量。

让人眼前一亮的是，此文使用NS3平台仿真（似乎代码没有开源？）。
https://github.com/JamesRaynor67/mptcp_with_machine_learning.git
https://github.com/kallen666/MPTCP-Deep-Reinforcement-Learning.git