【论文笔记2】基于梯形面积估计的大规模网络异常检测几何面积分析新技术

Novel Geometric Area Analysis Technique for Anomaly Detection Using Trapezoidal Area Estimation on Large-Scale Networks

• 基于梯形面积估计的大规模网络异常检测几何面积分析新技术
• 关键词：几何面积分析、贝塔混合模型、梯形面积估计、异常检测系统、大规模网络。

异常检测：ADS

几何面积分析（GAA）技术

梯形面积估计（TAE）

根据特征和观测之间距离的β混合模型（BMM）参数

主成分分析（PCA）

贝塔混合模型（BMM）

数据集：NSL-KDD和UNSW-NB15

1 介绍

1.我们提出了一种新的基于TAE的GAA技术，该技术使用BMM计算记录的面积和记录之间的距离，从中可以在训练阶段建立合法的轮廓，并计算每个测试记录的面积。为了检测攻击记录，我们开发了一种新的决策方法，该方法检查每个测试记录的区域，如果它属于合法配置文件，则将其视为正常记录，否则视为攻击记录

2.本文对我们的GAA技术进行了深入的数学分析，以帮助它在其他领域的使用。此外，还提供了它的计算复杂度和处理时间，以证明它可以轻松地设计用于在线处理。

3.在两个NIDS数据集上对该框架进行了性能评估：NSL-KDD，它是KDD99的增强版本；和UNSW-NB15。虽然KDD数据集已经过时，并且不包含当代攻击模式，但它仍然被公开用于评估网络入侵检测系统。然后，为了识别现代攻击，我们使用UNSW-NB15数据集。

• IDS分为：基于误用MDS和基于异常ADS
• ADS在大规模网络的工业应用中仍然面临两个主要问题：
  • 很难从各种正常模式中创建一个全面的概况
  • 构建自适应和轻量级检测方法的方法，该方法能够有效区分高速和大型网络环境中的合法和可疑活动。

---

2 背景和相关工作

1.ADS：数据源；数据预处理；和决策引擎

数据源：从网络流量或主机跟踪中收集的原始审计数据

数据预处理：从审计数据中创建特征，然后将这些特征传递给决策引擎

决策引擎：用于区分合法和可疑活动，并被视为主要模块

2.ADS挑战：构建可扩展、适应性强和轻量级广告

3.提出ADS来缓解网络入侵，建立此类系统的研究方法：

• [18]使用随机Petri网和β分布来检测网络物理系统中的异常行为。
• [33]贝叶斯推理方法：通过积累分布式传感器的反馈来开发数据网络的协作框架，并与贝塔分布相结合，以建模每个入侵检测的假阳性率和真阳性率
• [8]多元相关分析方法：构建拒绝服务攻击检测模型，并建立了一种基于三角形区域的技术来捕捉特征之间的相关性，以帮助检测可疑行为
• [17]几何距离分析算法：用于在挖掘有效负载数据包属性之间的相关性的基础上构建有效的网络入侵检测系统
• [19]分布式框架：使用随机森林技术在大规模网络上检测对等点僵尸网络
• [34]ADS：使用增量贝叶斯推理对大型网络数据进行聚类。他们的技术基于广义Dirichlet分布的混合，以自动定义合法和异常簇。

4.上述文章：提高了检测精度，因为它们在检测阶段采用了某个阈值，该阈值可以是二进制值（即0表示正常，1表示攻击）或不反映真实网络流量的恒定值；因此，他们的调查结果偏向于产生高FPR的合法活动。然而，如果根据处理后的数据计算该阈值，并随网络数据动态变化，则会降低FPR，如本文所述。

5.使用TAE作为检测目的的补充功能：

• [26]：用于网络取证的模糊专家系统，用于分析计算机犯罪并提供自动数字证据。梯形和矩形函数被用作模糊隶属函数，以表示ping攻击次数的真实程度。

• [21]：梯形和矩形函数构建模糊异常检测，以最小化能耗

• [28]：梯形规则设计了车道立体视觉检测模型，用于车道模型匹配

• [27]：基于梯形规则的检测方法，用于定义车辆挡风玻璃区域，该方法通过车辆零件的颜色、形状和位置将每个区域定义为梯形区域。

• [36]：一种模糊遗传技术来对恶意网络活动进行分类。模糊梯形规则用于识别攻击数据，而遗传技术用于寻找合适的模糊规则。

本文：我们使用TAE估计每个连接记录的面积，有效地检测正常配置文件中的恶意活动。

6.主成分分析：从大量特征中选择少量不相关特征（即所谓的“主成分”），因为其目标用最少数量的主成分确定最大方差。

• [40]：在KDD99数据集上评估了使用支持向量机和主成分分析混合开发的自适应入侵检测系统，结果表明主成分分析提高了准确性和处理速度
• [41]：基于主成分分析的基于类别的入侵检测，以减少DARPA 1998数据集中的特征数量。他们的实证结果表明，该模型提供了一组较小的特征，从而提高了检测速度，具有相同的准确性
• [42]混合统计机制，在构建自适应入侵检测系统时，使用主成分分析、Fisher判别比和概率自组织映射（SOM）去除不必要的特征。

---

3 几何面积分析技术

​ GAA技术根据BMM参数和记录距离计算的TAE，计算具有一组特征的每个网络观测的面积。它在训练阶段从正常区域创建轮廓，同时在决策方法中检测攻击区域。

• 训练阶段：通过结合BMM估计和正态分布均值之间的距离，从合法网络记录构建正态分布记录和每个记录。

• 测试阶段：正态分布的估计参数用于计算每个观察记录的面积。对于这些阶段中的每一个，TAE是根据结合BMM和每个单独记录的记录间距离获得的输出计算的。

3.1 贝塔混合模型

[5]：网络流量的特征不能有效地拟合高斯分布，因为它们不遵循其对称和无界边界

• 贝塔分布的形状比高斯分布更有弹性

• 概率密度函数

$$\mathrm{Beta}(x;v,\omega )=\frac{1}{\mathrm{beta}(v,\omega )}{x}^{v-\omega }(1-x{)}^{\omega -1},v,\omega >0--(1)$$

$$x：归一化特征，v，\omega ：形状参数，\mathrm{Beta}(v，\omega )：贝塔函数$$

$$\mathrm{beta}(v,\omega )=\Gamma (v)\Gamma (\omega )/\Gamma (v+\omega )$$

$$\Gamma (.)：伽马函数，\Gamma (c)={\int }_0^{\infty }\exp (-t)t^{c-1}dt$$

$$如果x满足贝塔分布，\mu =\frac{v}{(v+\omega )}--(2)$$

• 由于网络数据集的特征是多元的，因此每个特征都表示为混合模型中的一个分量。
• 多元贝塔混合模型的概率密度函数

$$\begin{array}{rl}f(x;\pi ,v,\omega )& =\sum _{i=1}^I{\Pi }_i\mathrm{Beta}\left(X,v_i,{\omega }_i\right)=\sum _{i=1}^I{\Pi }_i\prod _{l=1}^L\mathrm{Beta}\left(x_l,v_{li},{\omega }_{li}\right)\end{array}--(3)$$

样本L个，特征I个，v,w参数向量

---

贝塔混合模型的参数估计

• 最大似然估计MLE来估计BMM的参数

$$\begin{array}{rl}\mathcal{L}(\theta \mid X)& =\sum _n^N\log \left[\sum _i^I{\Pi }_i\mathrm{Beta}\left(x_n;v_i,{\omega }_i\right)\right]=\sum _n^N\log \left[\sum _i^I{\Pi }_i\prod _{i=1}^L\mathrm{Beta}\left(x_n;v_i,{\omega }_i\right)\right]\end{array}--(4)$$

• 加潜在变量Zn

$$\begin{array}{rl}\mathcal{L}(\theta \mid X,Z)& =\sum _n^N\sum _{i=1}^I{z}_{ni}\left[\log {\Pi }_i+\log \mathrm{Beta}\left(x_n;v_i,{\omega }_i\right)\right]=\sum _n^N\sum _{i=1}^I{z}_{ni}\left[\log {\Pi }_{ni}+\sum _{l=1}^L\log \mathrm{Beta}\left(x_{ln};v_{li},{\omega }_{li}\right)\right]\end{array}--(5)$$

• 迭代估计u，使用期望最大化EM算法

  • E步骤，算后验概率

  $${\bar{z}}_{ni}=E\left[z_{ni}\right]=\frac{{\Pi }_i\mathrm{Beta}\left(x_n;{\hat{v}}_i,{\hat{\omega }}_i\right)}{{\sum }_{m=1}^I{\Pi }_i\mathrm{Beta}\left(x_n;{\hat{v}}_m,{\hat{\omega }}_m\right)}--(6)$$

  • M步骤

  ( θ = { v 1 , … , v I , ω 1 , … , ω I } , Π i 重新估算 \left(\theta=\left\{v_{1}, \ldots, v_{I}, \omega_{1}, \ldots, \omega_{I}\right\}\right.,\Pi_{i}重新估算 (θ={v1​,…,vI​,ω1​,…,ωI​},Πi​重新估算

  $${\pi }_i=\frac{1}{N}\sum _{n=1}^{N}E\left[z_{ni}\right]--(7)$$

• 为计算v,w，设为

∂ E [ L C ( θ ∣ X , Z ) ] ∂ v l i = ∑ n = 1 N ∂ log ⁡ Beta ⁡ ( x l n ; v l i , ω l i ) ∂ v l i = ∑ n = 1 N z ˉ n i { log ⁡ x l n − [ ψ ( v l i ) − ψ ( v l i + ω l i ) ] } − − ( 8 ) \begin{aligned} \frac{\partial E\left[\mathcal{L}_{\mathcal{C}}(\theta \mid X, Z)\right]}{\partial v_{l i}} &=\sum_{n=1}^{N} \frac{\partial \log \operatorname{Beta}\left(x_{l n} ; v_{l i}, \omega_{l i}\right)}{\partial v_{l i}} =\sum_{n=1}^{N} \bar{z}_{n i}\left\{\log x_{l n}-\left[\psi\left(v_{l i}\right)-\psi\left(v_{l i}+\omega_{l i}\right)\right]\right\} \end{aligned}--(8) ∂vli​∂E[LC​(θ∣X,Z)]​​=n=1∑N​∂vli​∂logBeta(xln​;vli​,ωli​)​=n=1∑N​zˉni​{logxln​−[ψ(vli​)−ψ(vli​+ωli​)]}​−−(8)

$$\psi (x)=\frac{\partial \log \Gamma (x)}{\partial x}--(9)$$

∂ E [ L C ( θ ∣ X , Z ) ] ∂ ω l i = ∑ n = 1 N z ˉ n i ∂ log ⁡ Beta ⁡ ( x l n ; v l i , ω l i ) ∂ ω l i = ∑ n = 1 N z ˉ n i { log ⁡ ( 1 − x l n ) − [ ψ ( ω l i ) − ψ ( v l i + ω l i ) ] } − − ( 10 ) \begin{aligned} \frac{\partial E\left[\mathcal{L}_{\mathcal{C}}(\theta \mid X, Z)\right]}{\partial \omega_{l i}} &=\sum_{n=1}^{N} \bar{z}_{n i} \frac{\partial \log \operatorname{Beta}\left(x_{l n} ; v_{l i}, \omega_{l i}\right)}{\partial \omega_{l i}} =\sum_{n=1}^{N} \bar{z}_{n i}\left\{\log \left(1-x_{l n}\right)-\left[\psi\left(\omega_{l i}\right)-\psi\left(v_{l i}+\omega_{l i}\right)\right]\right\} \end{aligned}--(10) ∂ωli​∂E[LC​(θ∣X,Z)]​​=n=1∑N​zˉni​∂ωli​∂logBeta(xln​;vli​,ωli​)​=n=1∑N​zˉni​{log(1−xln​)−[ψ(ωli​)−ψ(vli​+ωli​)]}​−−(10)

• 黑森矩阵H

H { E [ L C ( θ ∣ X , Z ) ] } = [ ∂ 2 E [ L C ( θ ∣ X , Z ) ] ∂ v l i ⋅ ∂ v l i ∂ 2 E [ L C ( θ ∣ X , Z ) ] ∂ v l i ⋅ ∂ ω l i ∂ 2 E [ L C ( θ ∣ X , Z ) ] ∂ ω l i ⋅ ∂ v l i ∂ 2 E [ L C ( θ ∣ X , Z ) ] ∂ ω l i ⋅ ∂ ω l i ] = [ ψ ′ ( v l i + ω l i ) − ψ ′ ( v l i ) ψ ′ ( v l i + ω l i ) ψ ′ ( v l i + ω l i ) ψ ′ ( v l i + ω l i ) − ψ ′ ( ω l i ) ] − − ( 11 ) \begin{array}{c} \mathcal{H}\left\{E\left[\mathcal{L}_{\mathcal{C}}(\theta \mid X, Z)\right]\right\}=\left[\begin{array}{ll} \frac{\partial^{2} E\left[\mathcal{L}_{\mathcal{C}}(\theta \mid X, Z)\right]}{\partial v_{l i} \cdot \partial v_{l i}} & \frac{\partial^{2} E\left[L_{\mathcal{C}}(\theta \mid X, Z)\right]}{\partial v_{l i} \cdot \partial \omega_{l i}} \\ \frac{\partial^{2} E\left[\mathcal{L}_{\mathcal{C}}(\theta \mid X, Z)\right]}{\partial \omega_{l i} \cdot \partial v_{l i}} & \frac{\partial^{2} E\left[\mathcal{L}_{\mathcal{C}}(\theta \mid X, Z)\right]}{\partial \omega_{l i} \cdot \partial \omega_{l i}} \end{array}\right] \\ =\left[\begin{array}{cc} \psi^{\prime}\left(v_{l i}+\omega_{l i}\right)-\psi^{\prime}\left(v_{l i}\right) & \psi^{\prime}\left(v_{l i}+\omega_{l i}\right) \\ \psi^{\prime}\left(v_{l i}+\omega_{l i}\right) & \psi^{\prime}\left(v_{l i}+\omega_{l i}\right)-\psi^{\prime}\left(\omega_{l i}\right) \end{array}\right] \end{array}--(11) H{E[LC​(θ∣X,Z)]}=[∂vli​⋅∂vli​∂2E[LC​(θ∣X,Z)]​∂ωli​⋅∂vli​∂2E[LC​(θ∣X,Z)]​​∂vli​⋅∂ωli​∂2E[LC​(θ∣X,Z)]​∂ωli​⋅∂ωli​∂2E[LC​(θ∣X,Z)]​​]=[ψ′(vli​+ωli​)−ψ′(vli​)ψ′(vli​+ωli​)​ψ′(vli​+ωli​)ψ′(vli​+ωli​)−ψ′(ωli​)​]​−−(11)

$${\psi }^{\prime }(x)=d\psi (x)/dx$$

当
$$\left[\begin{array}{c}\frac{{\partial }^{2}E\left[{\mathcal{L}}_{\mathcal{C}}(\theta \mid X,Z)\right]}{\partial v_{li}}\\ \frac{{\partial }^{2}E\left[{\mathcal{L}}_{\mathcal{C}}(\theta \mid X,Z)\right]}{\partial {\omega }_{li}}\end{array}\right]=0--(12)$$

$$\begin{array}{r}\psi \left({\hat{v}}_{li}\right)-\psi \left({\hat{v}}_{li}+{\hat{\omega }}_{li}\right)=\frac{{\sum }_{n=1}^N{\bar{z}}_{ni}\log x_{ln}}{{\sum }_{n=1}^N{\bar{z}}_{ni}}\\ \psi \left({\hat{\omega }}_{li}\right)-\psi \left({\hat{v}}_{li}+{\hat{\omega }}_{li}\right)=\frac{{\sum }_{n=1}^N{\bar{z}}_{ni}\log \left(1-x_{ln}\right)}{{\sum }_{n=1}^N{\bar{z}}_{ni}}\end{array}--(13)$$

---

3.2 梯形面积估计TAA

• 目的：检测每个记录的合法或可疑区域
• 目标评估

$$V_n={\int }_a^{b}f\left(x_{1:d}\right)dx$$

$$\begin{array}{r}{\int }_a^{b}f(x)dx={\sum }_{i=1}^d{\int }_{x_{d-1}}^{x_d}f(x)dx\approx \frac{1}{2}{\sum }_{i=1}^d\left(x_d-x_{d-1}\right)\left[f\left(x_{d-1}\right)+f\left(x_d\right)\right]\end{array}--(14)$$

• 每个记录的总几何面积

$$\begin{array}{rl}\mathrm{area}(V)& ={\int }_a^{b}f(x)dx=\frac{b-a}{D}\left[f\left(x_1\right)+2\sum _{i=1}^{D-1}f\left(x_i\right)+f\left(x_D\right)\right]\end{array}--(15)$$

---

3.3 普通纵断面创建

• 一组正常记录

r 1 : n normal  = { x 1 , x 2 , … , x D } normal  r_{1: n}^{\text {normal }}=\left\{x_{1}, x_{2}, \ldots, x_{D}\right\}^{\text {normal }} r1:nnormal ​={x1​,x2​,…,xD​}normal 

• 每个正常值的平均值

$${\text{ distance }}_n=\left|\mu -{\mu }_n\right|--(16)$$

• 绝对距离已成功地应用于聚类和异常值检测机制[48]、[49]、[48]和[49]，而我们在GAA-ADS技术中使用它来确保检测到合法记录和可疑记录之间的差异
• 实际观察到，如果合法记录的面积与攻击记录的面积大致相似，则每个PDF和绝对距离（distancen）的总和可以清楚地区分它们。

4 框架体系结构

1.数据嗅探和存储

2.数据预处理

3.GAA-ADS

4.1 数据嗅探和存储

​ 使用现有的安全服务器从网络入口流量中生成一组特征，用于在明确定义的时间间隔内捕获网络连接。通过只关注相关流量，监控和分析目标网络的流量减少了识别攻击记录的开销

4.2 数据预处理

• 1.特征转换：将符号特征替换为数字特征
• 2.特征缩减：使用PCA技术来采用少量不相关的原始特征及其主成分
• 3.特征归一化：将原始子集特征或其主成分转换为[0,1]范围

$$x_i^{\text{normalised }}=(x_i-\min (x)/(\max (x)-\min (x))$$

4.3 GAA-ADS

• 训练阶段：通过组合BMM估计和记录的距离来计算正常记录的TAE
• 测试阶段：使用相同的参数来计算测试记录的TAE，同时将正常区域的任何变化视为异常。

---

5 基准数据集的描述

• NSL-KD
• UNSW-NB15

10个不同类别（包括正常的）

6 实验结果和分析

• 准确性：正确分类的所有正常和攻击记录的百分比

$$\text{ Accuracy }=\frac{(TP+TN)}{(TP+TN+FP+FN)}$$

• 检测率：正确检测到的攻击记录的百分比

$$\text{ DR }=\frac{TP}{(TP+FN)}$$

• FRP

$$\text{ FPR }=\frac{FP}{(FP+TN)}$$

• 与六种最先进的异常检测技术进行了比较

  • 多元相关分析[8]
  • 欧氏距离图[63]
  • 计算机视觉技术[62]
  • 三角区域最近邻（TANN）[64]
  • 人工免疫系统（AIS）[65]
  • 基于滤波的支持向量机（FSVM）[32]

  前四种技术被设计为只检测DoS攻击，而不是探测、U2R和U2L攻击。

  由于这些技术依赖于估计正常和异常情况之间的距离和相关性，因为一些攻击，尤其是隐身和间谍攻击[4]，明显模仿了正常观察，它们会干扰正常轮廓，降低检测精度。

7 结论和今后工作的方向

• BMM的估计参数和PDF用于计算每个网络流量记录的TAE
• 在数据预处理模块中讨论了使用主成分分析PCA