Echo-State Networks for Network Traffific Prediction

Echo-State Networks for Network Traffific Prediction

作者：Oluwamayowa Ade Adeleke

摘要：预测未来网络流量水平的能力对于企业、云、数据中心和广域网的网络管理和规划至关重要。 一个很好的预测未来的流量等级（traffic levels)使网络运营商可以提前规划如何在资源分配、拥塞控制、容量规划、异常检测和异常检测等领域实现服务交付目标 服务质量。 因此，在寻找可用于流量预测的良好方法方面已经引起了很大的研究兴趣。 探索了各种基于神经网络的方法用于网络流量预测的研究。 然而，许多这些方法通常需要很长的处理时间才能从网络数据中创建模型并预测流量。 在这篇论文中，我们提出本文研究了回波状态网络(ESN)用于网络流量预测的结果。ESN是一种具有内部状态的reservoir learning algorithm ，由随机连接的神经元组成的“库状”池。 在我们的实验中，我们比较了使用ESN和其他技术进行网络预测得到的结果 在从一个众所周知的公共网络跟踪存储库获得的两个数据集上。我们表明，当比较时，ESN在类似的精度水平上比其他方法获得了显著更快的训练和预测时间。

论文主要针对网络流量预测时，在训练数据时由于反向传播计算耗费很长时间，而软件定义网络(SDN)和网络功能虚拟化(NFV)的最新发展意味着我们现在可以完全自动化软件中的许多网络管理任务。 作者提出设想：设计一个能够预测未来网络负载水平的闭环软件系统，然后通过按需缩放虚拟网络函数(VNFs)实例来改变网络配置，处理预测的未来水平，那都网络流量预测的速度就要加快，在保证预测精度的情况下，就要压缩数据训练时间。

图结构

RESERVOIR LEARNING AND ECHO STATE NETWORKS(ESNS)

Reservoir Learning algorithms

• RNNS的一种变体，由输出层和一个随机产生的隐藏/内部网络组成
• 内部网络的权重随机初始化，只有最后的非递归层的权重需要训练
• the output layer采用线性回归训练
• reservoir network一开始就进行优化是的网络训练加快
• 不做 the compute-intensive optimization(back propagation) calculations

ECHO STATE NETWORKS(ESNS)

step one:

为了建立ESN模型，使用所需的任何神经元模型创建了一个随机动态库RNN，其主要参数是储层大小N，然后将输入层神经元连接到r上 通过创建随机的全到全连接来进行服务。 同样，输出神经元通过全对全连接连接到水库。 在需要输出反馈的情况下，输出神经 在随机的所有连接[7]中，NS连接回储集层。

step two:

将训练数据应用于输入节点，驱动动态油藏。输入数据集u(n)(如果涉及反馈，则输出y(N))应用于储层。 这将产生一个储集状态序列X(N)由输入的非线性变换所得，其中每个元素(1…n)是N维的。

step three:

用线性回归方法计算了从储层到输出层连接的权重，即y(n)在储层状态x(N)上的权重。

公式表达如下：
$$x(n+1)=f(Wx(n)+W^{in}u(n+1)+W^{fb}y(n))(1a)$$

$$z(n)=[x(n);u(n)](1b)$$

$$y(n)=g(W^{out}z(n))(1c)$$

​$u(n)$是输入信号(K dimensional)，$x(n)$ 是储层状态 (N-dimensional), $y(n)$ 是输出信号 (L-dimensional), $z(n)$是在时间n的扩展系统状态储存库和输入状态的级联 ((K + N)-dimensional), f 是sigmoid或者tanh 函数，$W$是储层的权重矩阵 ((NN)-dimensional), $W^{in}$是输入矩阵(NK-dimensional). $W^{fb}$是输出反馈矩阵(NL-dimensional). $W^{out}$ 是输出权重矩阵(L(K + N)-dimensional), $g$ 是输出激活函数 (identity or sigmoid)。 如果ESN没有反馈回路，则可以忽略输出反馈矩阵。

​以上三个方程主要用于从输入$u_1...u_n$生成扩展系统状态$z_1...z_n$， 然后用 $z(n)$填充状态收集矩阵S，逐行给出$n_{max}\times (N+K)$维的矩阵。 将所需的输出矩阵$d(n)$由大小为$n_{max}\times L$的a teacher output collection matrix D逐行排序。在此基础上，输出权值 $W^{out}$可以确定为在 $z(n)$上期望输出d(N)的线性回归权值 。 否则，$W^{out}$也可以通过取S的伪逆来计算。

EXPERIMENTS AND PRELIMINARY RESULTS

Dataset

• 使用的数据集为MAWI数据集
• 长期流量预测实验集，从2006年到2018年在上游链接到ISP的每日流量。
• 短期预测实验集，96小时的流量数据。

Builing the ESN Model for Traffific Prediction

• 为每个变量（平均数据速率和速率）独立实验
• 超参数的选择——网格搜索
• 主要超参数：the reservoir size（50-500）； the leaking rate（0.1-0.8）
• 利用预测值和测试值，计算均方根误差值
• 选择具有最低误差值的网格搜索参数组合作为最佳模型

Evaluation

论文源代码