大规模网络测量感知和分析

网络测量的意义

门捷列夫：俄国化学科学家，作为发现并归纳元素周期律和制作世界第一元素周期表的人，曾说：没有测量，就没有科学。
互联网先驱、美国国家工程院院士与SDN创始人之一曾说：网络测量分析和模型化是当前互联网科学面临的两个最基础性问题之一

低开销网络测量

1.测量关键问题
大规模城域网、大型数据中心网络、不断膨胀互联网、大规模物联网
网络有n个节点，实现一次全网端到端网络性能测量的代价为O（N2)，持续测量代价更高。
测量会额外注入流量，成为网络负担，严重影响网络性能。
总结：降低测量代价，提高测量效率
降低测量开销最基础的方法是时间和空间采样，然后到直接时空采样，但无法保证原始数据可恢复。
因此，在测量精度与测量代价的权衡。
我们的目标是：借助最新的数学理论，实现低开销高精度测量

2.稀疏感知基本原理
矩阵填充与张量填充：矩阵填充中需要有矩阵分解与SVD分解两个过程，采样下界。张量填充主要包括CP分解。

3.基于稀疏感知的网络测量
1）基于矩阵/张量填充的测量数据补全
面向网络测量数据的并行张量补全算法–快速补全
GPU带来机遇，GPU分级体系结构带来挑战
填充任务BLock间并行调度，填充任务Block内线程并行执行
最大化缓存命中率的子张量，并行调度算法
GPU的Block内共享内存小，速度快

2）基于矩阵/张量填充的测量调度
难点：稀疏感知技术（压缩传感、矩阵填充、张量填充）传统应用于图像处理，离线过程以及性能测量是在线过程，理论和应用都需要突破。
最少的测量数量：在线测量不知道数据的整体分布，难以根据现有稀疏感知理论，依据稀疏矩阵确定测量数量。
最优的测量位置：在线测量过程中不知道数据的整体分布，难以确定最有效的测量位置。
滑动窗口下的测量调度
测量数量：从历史窗口学习，自适应增减。连续滑动的测量窗口具有相对稳定的矩阵秩。
测量位置：最小化未测量数据不可推测的概率
基于滑动窗口的测量数量学习算法
基于栅格划分的测量位置调度算法
二分建稿下的测量调度：测量规划问题、矩阵填充的二分图建模、基于二分图的测量调度。选择测量位置：保证重构算法的鲁棒性和完备性
块矩阵填充下轻量级测量调度：基于块采样的矩阵填充模型，实现轻量级测量调度，具有低采样界

3）基于Sketch的轻量级传输
传输全部信息至数据中心，然而传输和存储开销大，有传输安全隐患
分布式传输Sketch降低传输和存储开销

高精度异常检测
1.基于PCA的异常检测
基于PCA数据隔离异常检测，全网链路数据
基于PCA主成分方向变化的异常检测
基于双向二位PCA主成分方向变化的异常检测

2.基于DRMF的直接矩阵/张量分解异常检测
轻量级的直接矩阵分解异常检测方法：基于LSH的低秩截断
发现DRMF迭代过程中，可快速定位异常位置，利用位置不变性，进行迭代间的增量计算
基于张量分解的时空异常检测：
1.通信、设备、传感器随机故障。
2.大面积网络攻击代价大，小范围攻击。
3.通信、设备、传感器持续故障
4.持续网络攻击，DDos攻击
随机异常检测模型，结构化异常检测模型

3.基于神经网络的无监督异常检测