【002-RL-CC】A congestion control method of SDN data center based on reinforcement learning

1 基本信息

ID: 002

Available: https://doi.org/10.1109/DCOSS.2016.8.

---

作者：Rong Jin1, Jiaojiao Li1, Xin Tuo1, Weiming Wang1, Xiaolin Li2

Email: jinrong@mail.zjgsu.edu.cn

---

机构：1 浙江工商大学; 2 Large‐scale Intelligent Systems Laboratory, University of Florida, Gainesville, Florida, USA

佛罗里达大学，大型智能系统实验室

---

发表会议：Int. J. Commun. Syst. 31 (17) (2018)

International Journal Of Communication Systems, Int J Commun Syst, 4区，影响因子1.066
http://www.gaokeyan.com/journal/details.php?jid=1629

---

标题： A congestion control method of SDN data center based on reinforcement learning

基于强化学习的SDN数据中心的一种拥塞控制方法

---

算法：Q-learning & Sarsa

---

场景：Software defined networks (SDNs)

SDN, Software Defined Network,软件定义网络。软件定义网络为未来网络提供一种新的结构，它将转发（forwarding）和控制（control）模块分离。控制模块能够集中管理整个网络。

---

2 内容概述

---

---

2.1 问题

随着大数据和云计算的发展，数据中心的内部通讯业务激增，因此数据中心的流量也激增。但数据中心带宽有限，有网络拥塞的危险。随着网络智能化的发展，软件定义网络（SDN）展示其作为未来网络架构的智能性。

对于SDNs，高效的CC算法很关键。

2.2 方法

将RL引入了SDN数据中心，以实现基于流的拥塞控制。改进了 Q‐learning 和 Sarsa算法，基于这两种算法提出了两种方法。

改进体现在两个方面：（改进使算法收敛速度更快）

1. 改进的的Q learning算法、Sarsa算法考虑到了当前数据流的路由，这种路由会影响到链路的拥塞。
2. 增加了拥塞判断。如果链路的占用带宽达到了阈值，则停止Q learning算法的训练。

• states: Link’s occupied bandwidth。在目前网络环境中，每条链路的已占用带宽。
• actions: The sending rate。agent控制source network node的发送速率，即controller分配每个数据流的速率。
• rewards: The threshold of congestion, and the occupied bandwidth of the link 拥塞阈值、链路占用带宽

数据中心的拓扑结构：S1——一个核心层交换机，S2-6——五个边缘层交换机。

系统结构：

2.3 结果

实验结果表明，两种拥塞控制方法可以有效控制拥塞：更高的链路利用率和更低的拥塞级别。
并且基于Sarsa的方法链路利用率更高，高于基于Q-learning方法2.4%且高于基于需求方法4.48% 。

实验环境：VMware11.0.0, Ubuntu 14.04 operating system, and Mininet2.2.1 platform（SDN仿真器）

2.4 评价

pros: 考虑到了路由信息，收敛速度较快。

cons:

1. 由于基于Q learning模型，不适合于复杂网络；
   Q learning算法使用的Q表存储空间有限导致状态空间有限，因此这种算法在复杂网络中的灵活性无法验证。

2. 拓扑简单
   在实验中，拓扑由一个核心层交换机和五个边缘层组成。

3. 奖励函数设计粗略
   对于reward function，只考虑了拥塞水平和占用带宽。还有很多参数（例如延迟）也可以作为评价参数。

因此，此方法有进一步的探索空间。