流量矩阵估计综述Traffic Matrix Estimation Techniques- A Survey on Current Practices

Paper: Traffic Matrix Estimation Techniques- A Survey on Current Practices | IEEE Conference Publication | IEEE Xplore

来源：2023 International Conference on Sustainable Computing and Data Communication Systems (ICSCDS)

(强烈建议搭配英文原文看！)

摘要

TME的背景和重要性：通过流量矩阵估计（traffic matrix estimation, TME）技术可以衡量在各种网络组件（如交换器和路由器）间移动的交通量。TME可以用于诊断和管理网络阻塞，是交通工程中重要的一部分。网络使用已达到顶峰，所需的服务每天都在增加，所以流量也在增加。为了提供良好和适当的服务，需要对流量进行估计。

本文：本文检测了TME问题和各种网络类型的相关性。TME 因网络而异，因此获取 TM 的做法也各不相同。本文调研了在不同网络类型中的各种TME方法，描绘了每种方法中的具体算法和性能指标。最后，TME的应用及对多种网络的技术被分析和呈现。

关键字：交通矩阵、数据中心网络、光网络、交通矩阵估计、道路网络、深度学习

I. Introduction

流量矩阵说明了有多少流量在起点-目的地对之间流动。TME对网络算子和设计网络都非常重要，包括异常检测、规划容量、路由配置等。由于网络庞大、测量基础设施不足以及庞大的起点-终点 (OD) 对，精确和准确地估计 TM 通常很麻烦。

考虑到其固有的复杂性和潜在的优化和管理操作的潜在优势，通信网络中的 TME 长期以来一直是一个麻烦。除了容易观察到的link load data外，一些交通流量测量可用于改善 TME。总体来看，TM表达了一个网络中源-目的耦合流量关系。

网络运营商对 TM 的理解对于网络基础设施的设计、管理和控制至关重要，例如报告、监控、工程、流量工程等。这也引起了TME被研究了很多年了，从电话网络时代开始，同时继续经历互联网扩张的几个阶段。

计算的高成本使得测量具有高负载特性的网络（例如数据中心网络）中的流量具有挑战性。通过使用SNMP有可能衡量出邻域的链路负载。因此，尽管有直接测量来估计流量，但已经开发出某些成本较低的技术，这些技术使用邻居的链路负载。 只有在建立了链路负载和流量之间的数学关系后，才能使用估算方法对TM进行估计。

II. Background

A. TME in Data Center Networks

DCN集成了多种网络元素，包括交换机、路由器、其他设备等。在数据中心网络中的TME必须通过观察流量的模式来观察交换机或服务器之间的流量轨迹。

B. TME in Optical Networks

光流网络中数据通过光纤电缆传输，数据交流会非常快。在光流网络中，TME通过规划网络资源和考虑带宽消耗来完成的。

C. TME in Cloud Networks

云网络中所需的网络资源和数据被虚拟托管在公共/私有的云上。云网络的TME有助于寻找网络延迟和丢包损失，通过收集网络训练数据并用于估计资源间的流量。一些方法用神经网络预测云网络中的TM。

D. TME in Road Networks

道路网络是将地点和城市表示为节点，路径表示为通过多条车道互连的边的网络。道路网络中的TME 被实施以得到最短路径并根据交通量和时间，分析比其他人更快到达目的地的路径。深度学习模型通过原始-目的对矩阵（OD matrices）估计TM。

E. TME in SDN

SDN是一种控制平面和数据平面分离的网络，这里控制平面是集中的。SDN中的TME可以通过考虑不同节点之间的多个流以及每个链路传输数据所需的负载来完成。

III. Traffic matrix estimation techniques

A. TME in Data center Networks

—— Hu, Zhiming, Yan Qiao, and Jun Luo. "ATME: Accurate traffic matrix estimation in both public and private data center networks." IEEE Transactions on Cloud Computing 6.1 (2015): 60- 73.

1. 问题建模：y(t)=Ax(t)

y(t): 时刻t的交通负载

A：路由矩阵，行代表链路，列代表路由

x(t)：不同可能路线之间的交通量

2. 3种算法：

• 该算法将虚拟机的进出字节作为输入，并计算用户分组的多个虚拟机之间的先验流量，并将这些流量相加得出交换机的先验流量；
• 该算法将服务放置信息作为输入并计算交换机之间的相关系数和流量，从而得出交换机之间的先验流量向量；
• DCN 包含冗余路由，可以通过考虑基于链路计数器的链路利用率来删除这些冗余路由，链路计数器给出了最广泛使用的链路和较少使用的链路的想法。 因此删除了具有最低利用率的链接。 该算法有助于忽略用户不常使用的链接，从而使 DCN 中的路由最小化成为可能.

3. 性能指标：RMSE(\tau)，RE， RMSE

B. TME using Tomogravity Space(断层重力空间) in Data center networks

—— Liu, Guiyan, et al. "Tomogravity space based traffic matrix estimation in data center networks." Future Generation Computer Systems 86 (2018): 39-50.

不需要先验的TM就可以进行TM估计：他们提出了两种迭代算法，通过使用距离作为减少或处理估计误差的因素来估计重力和断层重力空间之间的 TM。

1. 问题建模：Y=AX

Y：交通负载

A：路由矩阵，行代表总的交通链路，列代表需要寻找的不同可能路径之间的交通流量需求。

2. 2种算法：

• 第一种算法使用基于流量特征计算的先验 TM。将TME分解为几个小的TM问题，考虑了3种交换源、核心和目的地，从而将空间划分为断层重力空间和重力空间，并致力于生成先验的 TM，并在生成的先验TM上工作。
• 第二种算法利用没有先验 TM 的中等链路的缺失数据。通过使用重力空间进行正则化，目的是在某些链接数据丢失时分析 TM 的结果。

3. 性能指标：RMSRE(\tau)，RE， MRE

这一小节可参考：流量矩阵常见的两种估计方法对比_网络流量矩阵_kiki喜欢吃蛋糕的博客-CSDN博客 帮助理解

C. Origin-Destination(OD) traffic matrix prediction using deep learning（用于马路网络）

—— Pamuła, Teresa, and Renata Żochowska. "Estimation and prediction of the OD matrix in uncongested urban road network based on traffic flows using deep learning." Engineering Applications of Artificial Intelligence 117 (2023): 105550

1. 问题建模：

OD矩阵如下，其中n_0代表original的节点数，n_d代表目的节点的总数。

优化函数：

2. 算法：第一部分关注开发给定的城市马路网络的模型；第二部分估计先验矩阵；第三部分训练模型；最后一步进行预测。

3. 评价指标：MAPE、RMSE

D. Traffic Matrix Prediction using recurrent neural network (RNN)（用于光网）

—— Mesquita, Leonardo AJ, et al. "Resource planning on elastic optical networks using traffic matrix prediction." AEU-International Journal of Electronics and Communications 134 (2021): 153615.

1. 问题建模：表示流量数据需要花费许多时间，通过将其刻画为线性回归模型来解决交通流量随时间增长的问题以对交通进行模拟。

2. 算法：

• 最短路径是算法的目标。如果两个路径的距离相同，将对网络链路施加最少最大负载的路径。
• 选择减少每个网络链路上最大负载的路径是算法的目标。如果两条路径具有相同的负载，则将选择最短的链路。

3. 评价指标：MSE

E. TME using Convolution Neural Network(CNN) techniques（用于云网）——R-CNTME

—— Memon, Rashida Ali, Sameer Qazi, and Bilal Muhammad Khan. "Design and implementation of a robust convolutional neural network-based traffic matrix estimator for cloud networks." Wireless Communications and Mobile Computing 2021 (2021): 1-11.

1. 问题建模：Y=AX

Y：链路数量的矩阵；

A：路由矩阵；

X：交通矩阵

2. 算法：用到了时空技术，比如贝叶斯估计、线性优化等（迷惑发言，这些技术和时空有直接关系吗）

3. 评价指标：Spatial Relatvie Error(SRE), Temporal Relative Error (TRE), Bias(i)

F. TM Prediction using gated recurrent unit (GRU) and long short-term memory neural network (LSTM)

——Aloraifan, Dalal, Imtiaz Ahmad, and Ebrahim Alrashed. "Deep learning based network traffic matrix prediction." International Journal of Intelligent Networks 2 (2021): 46-56.

支持多个神经网络以链式的方式堆叠以得到高的精读。CNN是基本构建块，LSTM和GRU根除了RNN的问题。

1. 问题建模：CNN层用于导出每个节点的区域交通流量相关性，并且克服他们使用 LSTM 来处理时间依赖性的问题。CNN+LSTM。

2. 算法：运行CNN模型弄清楚局部相关性；运行LSTM层找到时域依赖；应用Bi-LSTM层。

3. 评价指标：MSE，RMSE， MAE

G. Gradient-enhancing Device for determination of Large flows

——Liu, Guiyan, et al. "SDN-based traffic matrix estimation in data center networks through large size flow identification." IEEE Transactions on Cloud Computing 10.1 (2019): 675-690

提出贪婪启发式算法，在网络中寻找large size flows以提升TM的预测精度。

开始时，分析所有的TM并识别large-sized flows。支持 SDN 的交换机将这些flows用作资源有限的三元内容可寻址存储器 (Ternary Content Addressable Memory, TCAM) 中的entries。作者提出了一个a source node prefix t ree-based bit merging aggregation (SPTBMA)，这些规则被嵌入TCAM中。

1. 问题建模：BP=Q，

B：表示节点和链路链接的二进制矩阵

P，Q：链路负载向量

2. 算法：提出一个贪婪启发式算法选择SDN中的large-size flows，以克服TCAM有限测量的问题。先生成所有SDN阶段的集合记为SN^|v|，可能的SDN节点被记为SN^|s|，SDN-enabled switches表示为|S|，算法被用于求解下式：

3. 评价指标：NMSE, RSNE

H. Forecasting traffic data by using dynamic graph convolution network

——Guo, Kan, et al. "Dynamic graph convolution network for traffic forecasting based on latent network of Laplace matrix estimation." IEEE Transactions on Intelligent Transportation Systems 23.2 (2020): 1009-1018使用动态图的拉普拉斯矩阵以及确定交通数据特征的潜在网络

1. 问题建模

为了实施 DGCN，作者将问题表述为在一定时间内的单个网络单元，并且为了利用周期性预测数据，他们对不同时期的输入数据进行了采样，最近的数据记录为x_{Th}，日数据和周数据记录为x_{Td}，x_{Tw}，拉普拉斯矩阵记录为L_p

2. 算法

• Laplace Metrix Latent Network(LMLN): 表达时空关系并将其输入到GCN中以形成DGCN。LMLN是一个拉普拉斯矩阵然后被转化为几个单元，最终是一个动态的拉普拉斯矩阵。
• GCN-based traffic forecasting algorithm: 从时域卷积层提取高维局部交通数据，采用记录大量交通数据所需的时间焦点，最后激活时间注意力的输出数据。

3. 评价指标：MAE，RMSE

I. TME on the basis of Flow observations Resampling

—— Kase, Simon, Masato Tsuru, and Masato Uchida. "Accurate OD Traffic Matrix Estimation Based on Resampling of Observed Flow Data." 2018 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE, 2018.
提出了一个逆函数，它确定映射到单个流量的流量概率曲线。在前面讨论的下降到零的概率曲线为正的假设下，该策略是可行的。 为了避免获得的值的影响，还建议对测量数据进行重采样。

1. 问题建模：将提出的函数应用于考虑的拓扑上，他的整数值从0到M。X_i: 每个单位时间内每个流的数量；Y_j: 集成的流量强度。

2. 算法：分析测量数据变化对估计值的影响意味着增加逆模型的估计精度。重采样测量数据是方法的基础。具体地，从aggregated flows中重复采样数据以提供大量的replicated measurement data。基于这些重复的数据，对每个flow各种各样的概率模型被创建。对ODTM估计问题，概率模型在提供一对解概率前创建，这些解概率被预测以聚类实际的解。

关键思想是评估候选解的预测精度，以消除测量值变化的影响，而不是将其最小化。

3. 评价指标：

J. Genetic algorithm-based TME from link load

—— Pachuau, Joseph L., et al. "Estimation of traffic matrix from links load using genetic algorithm." Scalable Computing: Practice and Experience 22.1 (2021): 29-38

尽管link loads易于手机，但不能提供精准的TM值。基于TM和link load的关系，设计了一个拥有无限解的系统。网络中的每个连接都通过link measurements链路测量获得traffic information流量信息。不用SNMP，这些值从路由器中快速地获得(simple network management protocal).

1. 问题建模：A.X=Y

A: routing matrix

Y: link loads

2. 算法：遗传算法提供了重力模型结果。首先，重力模型作为一个起始点，用TM和link load间的连接作为模型的主要函数。GA揭露了最小解。可以使用 GA 进一步改进重力模型解决方案，使其更接近链路测量。

3. 评价指标：RMSE

K. TME using the Levenberg-Marquardt algorithm

—— Mekaouil, S., C. Benhamed, and K. Ghoumid. "Traffic matrix estimation using the Levenberg-Marquardt neural network of a large IP system." Data Management and Security: Applications in Medicine, Sciences and Engineering 45 (2013): 85.
L-M算法：非线性回归中回归参数最小二乘估计的一种估计方法

2种L-M神经网络算法用于估计交通流：static feedforward和dynamic neural network algorihm

1. 问题建模：Y(t)=A.X(T)

A: routing matrix

Y(t)：links charges

X(T): traffic matrix

2. 算法：用L-M算法降低 TME 的成本。

3. 评价指标：用线性回归模型，Y=mX+b衡量实际值和预估值的关系。

L. Origin-Destination(OD) traffic matrix prediction using deep learning

—— Lorenzo, Mussone, and Matteucci Matteo. "OD matrices network estimation from link counts by neural networks." Journal of Transportation Systems Engineering and Information Technology 13.4 (2013): 84-92.

提出多层前馈神经网络，分析了OD矩阵和links间的关系。

1. 问题建模：PCA用于减少维度，X=USV’，X:数据集，U：在主成分空间中的映射，S：对角阵，V'：主成分的行；

2. 算法：用神经网络估计OD矩阵。

3. 评价指标：协方差矩阵。

IV. CONTRAST BETWEEN DIFFERENT TRAFFIC MATRIX ESTIMATION TECHNIQUES

以上方法的对比表