基于机器学习的web异常检测

Web防火墙是信息安全的第一道防线。随着网络技术的快速更新,新的黑客技术也层出不穷,为传统规则防火墙带来了挑战。传统web入侵检测技术通过维护规则集对入侵访问进行拦截。一方面,硬规则在灵活的黑客面前,很容易被绕过,且基于以往知识的规则集难以应对0day攻击;另一方面,攻防对抗水涨船高,防守方规则的构造和维护门槛高、成本大。

基于机器学习技术的新一代web入侵检测技术有望弥补传统规则集方法的不足,为web对抗的防守端带来新的发展和突破。机器学习方法能够基于大量数据进行自动化学习和训练,已经在图像、语音、自然语言处理等方面广泛应用。然而,机器学习应用于web入侵检测也存在挑战,其中最大的困难就是标签数据的缺乏。尽管有大量的正常访问流量数据,但web入侵样本稀少,且变化多样,对模型的学习和训练造成困难。因此,目前大多数web入侵检测都是基于无监督的方法,针对大量正常日志建立模型(Profile),而与正常流量不符的则被识别为异常。这个思路与拦截规则的构造恰恰相反。拦截规则意在识别入侵行为,因而需要在对抗中“随机应变”;而基于profile的方法旨在建模正常流量,在对抗中“以不变应万变”,且更难被绕过。

基于异常检测的web入侵识别,训练阶段通常需要针对每个url,基于大量正常样本,抽象出能够描述样本集的统计学或机器学习模型(Profile)。检测阶段,通过判断web访问是否与Profile相符,来识别异常。

对于Profile的建立,主要有以下几种思路:

1. 基于统计学习模型

基于统计学习的web异常检测,通常需要对正常流量进行数值化的特征提取和分析。特征例如,URL参数个数、参数值长度的均值和方差、参数字符分布、URL的访问频率等等。接着,通过对大量样本进行特征分布统计,建立数学模型,进而通过统计学方法进行异常检测。

2. 基于文本分析的机器学习模型

Web异常检测归根结底还是基于日志文本的分析,因而可以借鉴NLP中的一些方法思路,进行文本分析建模。这其中,比较成功的是基于隐马尔科夫模型(HMM)的参数值异常检测。

3. 基于单分类模型

由于web入侵黑样本稀少,传统监督学习方法难以训练。基于白样本的异常检测,可以通过非监督或单分类模型进行样本学习,构造能够充分表达白样本的最小模型作为Profile,实现异常检测。

4. 基于聚类模型

通常正常流量是大量重复性存在的,而入侵行为则极为稀少。因此,通过web访问的聚类分析,可以识别大量正常行为之外,小搓的异常行为,进行入侵发现。

基于统计学习模型

基于统计学习模型的方法,首先要对数据建立特征集,然后对每个特征进行统计建模。对于测试样本,首先计算每个特征的异常程度,再通过模型对异常值进行融合打分,作为最终异常检测判断依据。

这里以斯坦福大学CS259D: Data Mining for CyberSecurity课程[1]为例,介绍一些行之有效的特征和异常检测方法。

特征1:参数值value长度 
模型:长度值分布,均值μ,方差σ2,利用切比雪夫不等式计算异常值p

特征2:字符分布 
模型:对字符分布建立模型,通过卡方检验计算异常值p

特征3:参数缺失 
模型:建立参数表,通过查表检测参数错误或缺失

特征4:参数顺序 
模型:参数顺序有向图,判断是否有违规顺序关系

特征5:访问频率(单ip的访问频率,总访问频率) 
模型:时段内访问频率分布,均值μ,方差σ2,利用切比雪夫不等式计算异常值p

特征6:访问时间间隔 
模型:间隔时间分布,通过卡方检验计算异常值p

最终,通过异常打分模型将多个特征异常值融合,得到最终异常打分:

基于文本分析的机器学习模型

URL参数输入的背后,是后台代码的解析,通常来说,每个参数的取值都有一个范围,其允许的输入也具有一定模式。比如下面这个例子:

例子中,绿色的代表正常流量,红色的代表异常流量。由于异常流量和正常流量在参数、取值长度、字符分布上都很相似,基于上述特征统计的方式难以识别。进一步看,正常流量尽管每个都不相同,但有共同的模式,而异常流量并不符合。在这个例子中,符合取值的样本模式为:数字 _ 字母 _ 数字,我们可以用一个状态机来表达合法的取值范围:

对文本序列模式的建模,相比较数值特征而言,更加准确可靠。其中,比较成功的应用是基于隐马尔科夫模型(HMM)的序列建模,这里仅做简单的介绍,具体请参考推荐文章[2]。

基于HMM的状态序列建模,首先将原始数据转化为状态表示,比如数字用N表示状态,字母用a表示状态,其他字符保持不变。这一步也可以看做是原始数据的归一化(Normalization),其结果使得原始数据的状态空间被有效压缩,正常样本间的差距也进一步减小。

紧接着,对于每个状态,统计之后一个状态的概率分布。例如,下图就是一个可能得到的结果。“^”代表开始符号,由于白样本中都是数字开头,起始符号(状态^)转移到数字(状态N)的概率是1;接下来,数字(状态N)的下一个状态,有0.8的概率还是数字(状态N),有0.1的概率转移到下划线,有0.1的概率转移到结束符(状态$),以此类推。

利用这个状态转移模型,我们就可以判断一个输入序列是否符合白样本的模式:

正常样本的状态序列出现概率要高于异常样本,通过合适的阈值可以进行异常识别。

基于单分类模型

在二分类问题中,由于我们只有大量白样本,可以考虑通过单分类模型,学习单类样本的最小边界,边界之外的则识别为异常。

这类方法中,比较成功的应用是单类支持向量机(one-class SVM)。这里简单介绍该类方法的一个成功案例McPAD的思路,具体方法关注文章[3]。

McPAD系统首先通过N-Gram将文本数据向量化,对于下面的例子,

首先通过长度为N的滑动窗口将文本分割为N-Gram序列,例子中,N取2,窗口滑动步长为1,可以得到如下N-Gram序列。

下一步要把N-Gram序列转化成向量。假设共有256种不同的字符,那么会得到256*256种2-GRAM的组合(如aa, ab, ac … )。我们可以用一个256*256长的向量,每一位one-hot的表示(有则置1,没有则置0)文本中是否出现了该2-GRAM。由此得到一个256*256长的0/1向量。进一步,对于每个出现的2-Gram,我们用这个2-Gram在文本中出现的频率来替代单调的“1”,以表示更多的信息:

至此,每个文本都可以通过一个256*256长的向量表示。

现在我们得到了训练样本的256*256向量集,现在需要通过单分类SVM去找到最小边界。然而问题在于,样本的维度太高,会对训练造成困难。我们还需要再解决一个问题:如何缩减特征维度。特征维度约减有很多成熟的方法,McPAD系统中对特征进行了聚类达到降维目的。

上左矩阵中黑色表示0,红色表示非零。矩阵的每一行,代表一个输入文本(sample)中具有哪些2-Gram。如果换一个角度来看这个矩阵,则每一列代表一个2-Gram有哪些sample中存在,由此,每个2-Gram也能通过sample的向量表达。从这个角度我们可以获得2-Gram的相关性。对于2-Gram的向量进行聚类,指定的类别数K即为约减后的特征维数。约减后的特征向量,再投入单类SVM进行进一步模型训练。

再进一步,McPAD采用线性特征约减加单分类SVM的方法解决白模型训练的过程,其实也可以被深度学习中的深度自编码模型替代,进行非线性特征约减。同时,自编码模型的训练过程本身就是学习训练样本的压缩表达,通过给定输入的重建误差,就可以判断输入样本是否与模型相符。

我们还是沿用McPAD通过2-Gram实现文本向量化的方法,直接将向量输入到深度自编码模型,进行训练。测试阶段,通过计算重建误差作为异常检测的标准。

基于这样的框架,异常检测的基本流程如下,一个更加完善的框架可以参见文献[4]。

本文管中窥豹式的介绍了机器学习用于web异常检测的几个思路。web流量异常检测只是web入侵检测中的一环,用于从海量日志中捞出少量的“可疑”行为,但是这个“少量”还是存在大量误报,只能用于检测,还远远不能直接用于WAF直接拦截。一个完备的web入侵检测系统,还需要在此基础上进行入侵行为识别,以及告警降误报等环节。

2017阿里聚安全算法挑战赛将收集从网上真实访问流量中提取的URL,经过脱敏和混淆处理,让选手利用机器学习算法提高检测精度,真实体验这一过程。并有机会获得30万元奖金,奔赴加拿大参加KDD—-国际最负盛名的数据挖掘会议!

报名地址:https://tianchi.shuju.aliyun.com/mini/alibabajaq.htm

推荐阅读 
1. CS259D: Data Mining for CyberSecurity, 课程网址:http://web.stanford.edu/class/cs259d/ 
2. 楚安,数据科学在Web威胁感知中的应用,http://www.jianshu.com/p/942d1beb7fdd 
3. McPAD : A Multiple Classifier System for Accurate Payload-based Anomaly Detection, Roberto Perdisci 
4. AI2 : Training a big data machine to defend, Kalyan Veeramachaneni

作者:七雨@阿里聚安全,更多阿里安全类技术文章,请访问阿里聚安全博客
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要设计一个基于机器学习Web异常流量检测系统,需要考虑以下几个步骤: 1. 数据收集: 首先需要收集正常和异常的网络流量数据。这可以通过在网络边界处放置流量捕获设备来实现。 2. 数据预处理: 收集到的数据需要进行预处理,以便能够输入到机器学习模型中。这可能包括清洗、标准化和采样等步骤。 3. 模型训练: 使用预处理后的数据训练一个机器学习模型,以识别异常流量。可以使用各种算法,如决策树,随机森林,支持向量机等。 4. 模型部署: 将训练好的模型部署到生产环境中,并在实时网络流量中使用模型进行检测。 5. 效果评估: 定期评估模型的性能,并对其进行调整和优化。 ### 回答2: 基于机器学习Web异常流量检测系统是一个用于检测和预测Web应用程序中异常流量的系统。该系统通过监控Web应用程序的网络流量和用户行为,利用机器学习算法进行异常检测和分类,以便及时发现并应对网络攻击、恶意行为和异常访问等安全威胁。 首先,该系统需要对收集到的网络流量和用户行为数据进行预处理和特征工程。这包括数据清洗、缺失值处理、特征提取和选择等。然后,通过监督学习算法,如支持向量机(SVM)、决策树或随机森林等,对数据进行训练和建模。训练集应包括正常流量和已知异常流量的样本,以便系统能够学习到正常和异常模式。 训练完成后,系统可以使用已经训练好的模型来对新的网络流量进行分类和异常检测。当新的网络流量进来时,系统会提取特征并将其输入到模型中进行预测。如果预测结果为正常,流量将被允许通过;如果预测结果为异常,流量将被阻塞或采取其他安全措施。 为了提高系统的准确性和适应性,还可以使用无监督学习算法,如聚类算法或异常检测算法,对未标记的数据进行训练和建模。这样系统可以发现新的未知异常模式,并对其进行分类和检测。 此外,系统还应具备实时监控和警报功能。当检测到异常流量或安全威胁时,系统可以发送警报给管理员或相关人员,以便及时采取措施进行应对和修复。 综上所述,基于机器学习Web异常流量检测系统可以帮助企业和组织提高Web应用程序的安全性,减少网络攻击和恶意行为的影响。该系统能够智能化地检测和识别异常流量,并及时采取措施,保护Web应用程序的安全运行。 ### 回答3: 基于机器学习Web异常流量检测系统是一种利用机器学习算法来检测和识别Web应用中异常流量的系统。下面是设计这样一个系统的一些主要步骤和方法。 首先,系统需要收集和存储Web应用的日志数据,包括网络流量数据、访问请求数据等。这些数据将作为训练集用于机器学习模型的训练。 接下来,需要选择合适的机器学习算法。常见的算法包括支持向量机(SVM)、决策树、随机森林等。这些算法可以用于分类和识别Web流量中的异常行为。 在训练模型之前,需要对数据进行预处理。这包括特征选择、特征提取和数据归一化等步骤。特征选择是为了选择最相关的特征,提高模型的准确率。特征提取是将原始数据转换为更有信息量的特征向量。数据归一化是将数据转化为相同的尺度,以便算法的准确性。 然后,使用训练数据集来训练机器学习模型。训练过程中需要调整参数,以获得最佳的模型性能。 完成模型训练后,可以在实时流量中应用该模型进行异常流量检测。将实时的网络流量数据输入到模型中,通过模型预测结果判断是否存在异常行为。 最后,需要对检测结果进行评估和监控。评估可以通过计算模型的准确率、召回率等指标来进行。监控可以实时监测系统的运行状态和检测效果。 综上所述,设计一个基于机器学习Web异常流量检测系统需要考虑数据收集和预处理、机器学习算法的选择和训练、模型的应用和检测结果的评估等步骤。这需要充分理解Web流量特点和机器学习算法的原理,以提高系统的准确性和实时性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值