2020/03/21 -
阅读文章[1]的总结。
[1]这篇文章是,利用层次聚类的方法来聚类恶意外联流量。
恶意外联流量,就是受控主机向控制者发送请求,或者传递信息的流量;针对这种流量的检测方案有两种:1)利用黑名单过滤恶意域名2)利用规则匹配来匹配恶意流量。黑名单的方式无法防止域名变化,规则匹配需要专业人员的分析,难以检测变种的恶意连接。第一个原因,我能理解,但是第二个总感觉他说的不是非常明白。他说需要从业人员逐一分析样本,无法应对变种的。
(我觉得,这个规则匹配的意思,那种直接利用某个字符串来匹配的)利用机器学习来检测恶意流量,通过发现恶意流量之间的共性,以此作为检测的依据。本篇文章采用的算法是聚类,通过聚类来标记恶意样本,
文章的后面,具体记录了利用HTTP流量作为数据源的研究。而HTTP进行参数化的形式,就是将他的协议部分的各个内容给提取出来。之前的时候,我对这种方法是不理解的,因为我之前做流量分类的时候,采用的特征都是那种比较低级的TCP层次的特征。所以,这里算是一个不一样的地方。
最后利用已积累的威胁情报信息将恶意流量打上恶意家族信息。也就说,他这个最后一个多分类问题。不仅仅是,把这个东西分类成恶意流量,同时,还能区分出他是什么类别。(关键词:威胁情报信息、恶意家族)
同一家族的流量具有相似性,采用的url类型(字符集),长度等,都很相似。
由于同一家族的恶意外连流量具有上述的相似性,因此可以使用聚类算法将同一家族的恶意流量聚为一类,提取它们的共性模板,最后利用模板检测新的恶意外连流量。
其实上面的话,传达的意思很简单,就是说,这种东西是相似的,我提取出他的模板,然后利用模板匹配的形式去匹配新的流量,就可以发现这个流量。说起来简单。但是,这个说法还是没有在我脑海里形成一个比较具体的概念。
其实有这种想法的原因很简单,平时也没弄过这种东西。
由此来引发了两个问题,1)这个模板是什么,这里说是模板,和我平时用的特征有没有区别,毕竟特征相似度比较,就是直接量化以后比较就好了。2)比较的话,怎么比较;数字能直接比较,文字怎么比较。
-
检测步骤
1)模板生成 2)检测未知流量
而模板生成流程包括一下几个步骤:请求头字段提取,泛化,相似度计算,层次聚类,生成恶意流量模板。
你看他这里这个说法, 生成恶意流量模板,我个人不是很赞同,你最后生成的应该是一个模型吧。
同时,泛化这个词,也不是非常容易理解,什么叫泛化,一般都是强调模型的泛化能力,这里为什么是参数的泛化。所以他这里的泛化按照他的解释,是将各个部分的字符,进行替换,取消他们的差异性。如图:
泛化效果
我觉得这种做法挺有意思的,这样就很像是一个模板的概念了。(当然,我觉得,他后面并不是这么使用的)同时,我觉得,如果是这种方式的话,其实都可以自己定义一个距离函数了。可以涵盖很多方面(我暂时也没想好能用什么) 相似度计算
虽然提到了这个应该特征的特异度来当作权重计算相似度,但他文章中还是没有给出最后的相似度是怎么计算的。
具备区分性的特征权重自然也高。生成恶意流量模板
对聚类后的每一类,都是结构和内容相似的恶意流量。对其中的每一个请求头字段,获取聚类中该字段内容的并集作为该字段在模板中的值。相当于把训练集中重复的部分做了去重处理。
这部分我觉得,他就是吧这个比对得样本集给缩小了,当然我不是很确定,这个需要后面再分析,就是这个比较过程,如果是两两比较的话,肯定他这种做法把这个模板生成出来会比较快。
整体上,大致就是这些内容。我这里来总结一下几个比较不错得点。
- 利用聚类的方法,跟传统的分类不太一样
- 特征工程部分的创新点,我觉得他的这个点挺不错的。但是没有看到他进一步相似度计算的过程
- 生成模板,其实这个过程,最后就能给人看的时候,有一定的可读性。
最后还有几篇僵尸网络引用文献,如果有机会的话,可以看看。