网络异常_基于稀疏感知的网络测量与时间序列异常检测

本文为对谢鲲老师关于“基于稀疏感知的网络探测与时序检测”系列学术论文的研读笔记

1.《低秩矩阵填充典型算法》—— 邓军/谢鲲 2017.9

总结了低秩矩阵（Low-Rank Matrix）填充一般数学模型的四类典型算法，实验验证了算法性能和参数之间的关系；

最近几年随着大数据迅速发展，与之相关的矩阵填充技术也是当前热门研究方向，其主要工作是研究如何从矩阵中的已知数据去恢复其未知数据的过程，这里包括待恢复 矩阵需满足的一定条件和 矩阵恢复算法两类技术。前者主要是研究 矩阵的秩 ^[1]（r）、阶数（n）及已知元素数目等问题。秩和阶 数的确定目前仍然靠人为干预，元素数目方面 Candes 等 [1] 给出了证明认为在强不相干的矩阵中已知元素只需大于等 于 Crn log ，C 为正常数，即可高概率地估计出原始矩阵。

关于填充算法目前学术界已经提出了许多种，归纳起来有四类。

• 小规模矩阵填充算法：主要利用 半正定规划原理（SDP）^[2]求解，矩阵恢复精度较高，但计算代价太高，矩阵规模不能太大，实践证明维数在 100×100 以内恢复效果较好。代表性算法有（原始-对偶）内点法（PDM） ^[3]、投影次梯度法 ^[4] 和低秩参数化法 。
• 核范数最小化求解类算法：这类算法的目的是，通过求解矩阵的最小核范数得到一个合理的仿真子空间。其过程是利用拉格朗日对偶原理通过迭代求其算子的次微分得到最终的估计矩阵。主要经典算法有奇异值阈值法（SVT）^[5]、近似值的奇异值不动点连续法 ^[6]和加速邻近点法。
• 格拉斯曼流形最小化求解类算法: 原理是将待估矩阵表示成格拉斯曼流形^[7]上的一个点，基张成一个子空间再进行重复迭代优化，最后得到修剪后的估计矩阵。主要代 表性的有 optSpace 算法^[8]、SET 算法 和 GROUSE 算法。
• 其它新型算法：这类算法使用别的矩阵技术求解，比如低秩矩阵拟合算法（LMaFit）^[9]，采用最小化问题求解、截断式核范数类算法 ^[10]，最小化截断式核范数问题对待估矩阵进行数据恢复。

---

1.《Recover Corrupted Data in Sensor Networks: A Matrix Completion Solution》——Kun Xie IEEE 2017

<恢复传感器网络中的损坏数据: 一个基于矩阵补全（MC）的解决方案>

无线传感器网络由于硬件和无线条件的影响，原始传感器数据通常存在明显的数据丢失和损坏。现有研究主要假设没有数据损坏的场景，也没有连续丢失数据的战略。针对这些问题，本文提出了一种基于矩阵补全（ Matrix Completion ）的连续丢失和损坏数据的恢复方法。通过对朱洲等196个传感器采集的大量天气数据进行分析，验证了天气数据具有低秩、时间稳定性和空间相关性的特点。此外，通过对真实天气数据的模拟，我们发现连续数据的损坏/丢失不仅严重影响了数据恢复的准确性，而且在用传统方式进行矩阵补齐时，甚至会污染正常数据。基于这些观察，我们提出一种新的基于主成分分析（PCA）的方案来有效识别数据损坏的存在。进一步提出一种基于两阶段-矩阵补全的数据恢复方案，即MC-Two-Phase，它利用矩阵补全技术，充分利用环境数据的固有特性，通过损坏/丢失数据来恢复数据矩阵，并实测有很高的精度。
传感器网络回收的环境数据通常由环境矩阵（Environment Matrix）来表示：一个

维度的EM记录着N个传感器在T time slots获取的数据。但现实世界中，受硬件和恶劣作业环境的影响，传感器的监测数据容易出现损坏与缺失，学界已经有过许多处理缺失数据的研究诸如：基于KNN的局部插值法，基于DT（Delaunay Triangulation) 的全局细化法

^[11]，基于主成分分析的多信道奇异谱分析（MSSA） ^[12]，然而上述技术插值质量一般不高，不能很好的修复损坏数据。
随着稀疏表示的快速发展，矩阵补全（MC）技术逐渐兴起，根据MC理论，如果底层矩阵具有低秩或近似低秩结构，则矩阵可以以相对较少的条件进行精确恢复。由于信道衰落或传感器故障，沿EM的列（时间）或行（空间）方向可能会出现连续数据缺失或损坏，这使得应用MC技术来准确恢复整个矩阵变得更难。 ^[13]因为虽然MC理论允许恢复随机缺失条目的矩阵，但如果一行或列完全丢失，MC操作将没有办法影响这些整体缺失的条目。本文对于上述挑战，做出了如下贡献：

MC-Two-Phase 方案：我们提出了基于主成分分析的结构故障检测算法^[14]、空间预插值算法和时域预插值算法。

• 第一阶段：我们的算法通过排除连续损坏的数据来恢复剩余的数据矩阵，以避免它们的负数效果
• 第二阶段: 我们利用第一阶段得到的数据，利用MC理论，充分利用空间和时间稳定性，恢复整个矩阵。

---

2.《Graph based Tensor Recovery For Accurate Internet Anomaly Detection 》—— IEEE 2017

<基于图的张量恢复技术用于精确的互联网异常检测>

异常流量检测是网络管理的一项重要任务，近年来，许多异常检测算法都得到了广泛的应用。然而，由于基于矩阵的流量数据模型的约束，现有的算法往往存在检测精度低的问题，为了充分利用网络流量数据中隐藏的多维信息，本文对通过 张量因式分解（Tensor Factorization）来实现更精确的流量异常检测的可能性和方法进行了研究。目前的张量因式分解技术只考虑数据中隐藏的低秩线性特征，会导致异常检测精度低。本文提出了一种新的基于图的张量恢复模型（Graph-Tensor Recovery） ，以很好地探索低秩线性特征以及隐藏在交通数据中的非线性接近信息，从而更好的检测异常。
我们通过构造 最近邻图对流量数据的非线性邻近信息进行编码，并利用 图拉普拉斯将这些信息合并到张量因式化中。此外，为了便于快速构建邻图，本文提出了一种基于局部敏感哈希（LSH）的最近邻搜索算法，并基于互联网流量追踪数据Abilene和GEANT进行了广泛的实验，验证了Graph-TR算法可以显着降低误检率（Fa