[文献阅读] 用于网络流量分析和异常检测的软件深度数据包检测系统

文章地址

Sensors | Free Full-Text | A Software Deep Packet Inspection System for Network Traffic Analysis and Anomaly Detection

文章核心观点

本文提出了一种基于Hurst参数的深度数据包检测（DPI）系统，用于网络流量分析和异常检测。通过分析网络流量统计特征，发现网络流量存在自相似性，当出现异常时这些特征会发生变异，因此提出了基于Hurst参数的异常检测方法。

Hurst参数可度量网络流量的自相似性，值越接近1表示自相似性越强。

作者开发了一个基于Windows平台的软件DPI系统，用于实现网络流量捕获、分析和检测。该系统利用R/S分析法计算Hurst参数，并建立了参考值表来检测异常流量。此外，该系统还可以检测DNS、HTTP、RTP、BitTorrent等协议，并对不同流量进行优先级调度。 在实验中，作者将自己的DPI系统与SolarWinds DPI系统进行了比较，发现提出的系统能更有效地检测非合法流量。

阅读笔记

文章结构

一、引言
网络服务大规模发展的背景
网络异常检测的重要性和挑战
二、相关工作
网络异常检测方法分类
DPI系统相关研究
网络流量分析与IoT和WSN中的异常检测相关研究
三、提出的网络流量异常检测方法
- 基于Hurst参数的异常检测方法
- 异常检测算法的详细描述
四、软件DPI系统开发
系统架构
流量捕获、分析和检测算法
流量控制算法
五、实验数据与结果分析
实验设置
对比SolarWinds DPI系统结果
分析采用提出的DPI系统的结果
六、展望
方法的局限性
系统的创新性和应用前景
七、结论
方法的主要创新点
系统的优势和局限性
未来研究的方向

读后疑问

文中基于Hurst参数的网络流量异常检测方法是怎样的？

答：利用网络流量时间序列的自相似性特性，采用Hurst参数评估正常与异常行为。利用R/S分析法估计Hurst参数，并结合“3σ”规则判断异常。所开发的软件DPI系统采用模块化设计，包括流量捕获、分析和检测、流量控制等模块。实现了各种协议的检测算法，如DNS、RTP、HTTP、TLS等。流量控制模块可根据协议类型和负载设置过滤或优先级处理策略。

R/S分析是如何用来计算Hurst参数的？

R/S分析（Rescaled Range Analysis）是一种计算Hurst参数的方法。具体步骤如下：
1. 数据采集：首先，收集网络流量的时间序列数据。
2. 计算累积离差：对时间序列数据进行累积，得到累积离差序列（cumulative deviations sequence）。
3. 分段：将累积离差序列等分为N段，每段包含m个数据点。
4. 计算R/S值：对于每段累积离差序列，计算累积离差的最大值（Rmax）和最小值（Rmin），然后计算累积离差序列的标准差（S）。R/S值（R/S）定义为Rmax/S。
5. 计算Hurst参数：对所有N段数据重复步骤4，得到N个R/S值。计算这N个R/S值的平均值（<R/S>），然后根据公式H = (ln(<R/S>) - ln(m/2)) / (ln(N) - ln(m/2))计算Hurst参数H。
6. Hurst参数的判断：Hurst参数的取值范围为[0,1]，其中H=0.5表示时间序列是随机游走的，H>0.5表示时间序列存在长程依赖性，H<0.5表示时间序列存在反长程依赖性。在网络流量异常检测中，异常流量通常表现出与正常流量不同的长程依赖性，因此可以通过Hurst参数的计算来判断流量是否异常。

R/S分析通过对网络流量时间序列进行分段处理，计算每个分段的R/S值，然后求平均值并利用Hurst参数的计算公式 来评估网络流量的时间序列是否具有自相似性，从而判断流量是否异常。