【005-RL-CC】*Learning-based and data-driven TCP design for memory-constrained IoT

1 基本信息

属性	值	说明
ID	005	Available: https://doi.org/10.1109/DCOSS
作者	W. Li, F. Zhou, W. Meleis, K.R. Chowdhury	{li.wei,zhou.fan1}@husky.neu.edu, {meleis,krc}@ece.neu.edu
机构	Dept. of Electrical and Computer Engineering Northeastern University Boston, USA	波士顿东北大学电气与计算机工程系
标题	Learning-based and data-driven TCP design for memory-constrained IoT	应用于内存受限的物联网的基于学习和数据驱动的TCP设计
发表会议	International Conference on Distributed Computing in Sensor Systems, DCOSS 2016d	IEEE传感网络分布式计算，算A-B类
场景	Internet of Things (IoT)	物联网：简单理解为，互联网由人产生数据，进行传输（QQ发消息）；物联网有物品产生数据（到点报时）
算法	Fuzzy Kanerva-based Q Learning	基于Kanerva coding的Q-learning：states和actions表示为state-action pairs。通过选择原型state-action pairs，极大降低存储Q表需要的内存空间

2 内容概述

2.1 问题

物联网 (IoT) 是快速发展的无线技术的产物。物联网的主要特征是本地计算、使用的高度可变性和潜在计算需求。物联网的通信设备，形状、内存、计算能力差距极大，因此在这种环境中保持连续的连接并传输数据，需要考虑重新设计可靠的传输层协议。

2.2 方法

设计了一种算法。将Q-learning应用于物联网环境下，调节TCP拥塞避免阶段的cwnd（使得协议可以及时响应当前网络环境）。

并使用了function approximation、Kanerva coding，来减少用于存储Q表（即state-action value table）的内存。

• states:A moving average of the inter-arrival time between newly received ACKs, a moving average of the inter-arrival time between packets sent by the sender, the ratio between current RTT and the best RTT found, and the slow start threshold
• actions: CWND
• rewards: Throughput and delay

2.3 结果

设计的算法适合于物联网环境的实时处理和存储需求。
仿真实验表明（NS-3），算法可以实现高吞吐量、低延迟和很好的公平性。

The superior performance of the learning-based approach over TCP New Reno is demonstrated through a comprehensive simulation study, revealing 33.8% and 12.1% improvement in throughput and delay, respectively, for the
evaluated topologies.

同时，在 learning-based protocol中使用function approximation也在保持吞吐量、延迟性能的同时，极大降低了需要的内存。

2.4 评价

pros:

1. 使用 function approximation method极大减少了协议的内存需求。

Dramatically reduce the memory requirements of a learning-based protocol while maintaining the same throughput and delay by using a function
approximation method

2. 仿真环境使用NS-3。

cons:

1. 算法没有在实际环境中部署实验。也算是可以后续开展的工作?

Lack real deployment test。在物联网环境中，真正的部署测试对于验证基于学习的算法在智能设备中的性能至关重要。因此，算法的可行性有望在真实物联网环境中进行测试。

2. 代码似乎没有开源？