Application of the PageRank Algorithm to Alarm Graphs（翻译）

 

摘要：

在大型入侵检测基础设施中，将真实攻击与虚假警报分离是一项极其困难的任务。在这种环境中接收到的警报数量可以轻松地进入每天数百万个警报中。这些警报产生的压倒性噪音可能会导致真正的攻击被忽视。为了突出这些攻击，我们引入了一种利用报警图的主机排序技术。我们不是像在攻击图中那样枚举所有潜在的攻击路径，而是根据安装在网络上的入侵检测传感器生成的警报来构建和分析图。考虑到警报主要是误报，挑战在于识别、分离和理想地预测未来的攻击。本文提出了一种基于PageRank算法的解决该问题的新方法。 通过提升已知攻击者和受害者的级别，我们可以观察这些主机对报警图中其他节点的影响。 利用这些信息，我们能够发现以前被忽视的攻击，并抵御未来的入侵。 

介绍：

管理大型入侵检测环境生成的大量警报可能非常具有挑战性。当前入侵检测技术的实施者面临的一个主要问题是入侵检测传感器（IDSs）产生的大量误报，误报率高达90%以上。

自从攻击图作为一种对网络漏洞进行建模的方法被引入以来，它受到了广泛的关注。攻击图模拟了攻击者为成功攻击目标而可能采取的路径，如果仅简单的表示通常会导致模型，可能采取的路径上呈指数增长。 即使对于小型网络也很难处理，最近的学者研究集中在降低它们的视觉复杂度和使它们易于计算上。

在本文中，我们提出了报警图(Alarm Graphs )，一种替代攻击图(Attack Graphs)的方法， 由监控基础设施发出的警报生成。 我们确定利用已知攻击的知识对这些图进行扩充，并使用PageRank算法对其进行分析，可以获得关于入侵的一些有用的见解。

攻击图三个研究方面：

1. 对网络连接和已知的漏洞发现进行建模，枚举攻击者可达成成功危害目标主机的路径。
2. 用于描述攻击图的定义语言，以及允许其状态转换的条件
3. 编写端到端的攻击场景或基于攻击图分析的策略，对大量入侵检测警报进行分组。

主要贡献：

风险评估：当监视大型网络的任务时，分析人员很容易将他们的注意力缩小到通常已知参与攻击的部分主机，例如web服务器。相比之下，我们的技术允许分析员从算法上评估所有节点的风险，并通过考虑已知的攻击如何影响其邻居而不忽略“全局”。

系统识别错过的攻击: 该技术提供了对网络的系统分析，并报告了攻击造成的全部损害。 这些数据对于取证和入侵预防来说是无价的。 当算法针对历史入侵数据运行时，它系统识别错过的攻击安全分析人员错过的受损节点。

自动生成监视列表：算法产生的输出是一个列表，其中列出了未来有更高概率参与攻击的主机。实验中当运行对历史入侵数据，算法预测了一个出人意料的高攻击次数。

协调传感器：通过分析发现，尽管没有参与真正的攻击，产生大量错误警报的主机，常常会多次获得较高的级别。该发现提供了一种创建过滤器的方法，以消除假警报，从而降低与运行监视基础设施相关的总体成本，同时提高警报的总体准确性。

可视化：使用GraphViz等工具可视化报警图，与完全枚举警报日志不同，由于警报在不同主机之间抽象为图上的连接关系，因此可以生成安全分析人员更容易理解的关系图。

收集类似于soc,ntp等探针的告警数据抽象成有向图。

1.告警抽象有向图

1. 排序算法

PageRank algorithm：最初设计用于对网页在万维网所有网页中的重要性，PageRank利用web页面之间通过超链接提供的链接结构来衡量这种重要性。

参考链接：https://www.cnblogs.com/rubinorth/p/5799848.html

1. 将PageRank扩展到报警图(Alarm Graphs )

对攻击者可能的路径进行建模，取而通过入侵检测传感器检测到的网络(步骤1)，在使用PageRank这个模型，分析图中哪些节点具有最高的被攻击者访问的概率，随机进入警报图表(步骤2)。

PageRank算法的使用需要对IDS警报进行建模，作为遍历马尔可夫模型(给定足够时间，告警图中的每一个状态都可以从其他任何状态完成遍历，遍历性也保证了模型收敛到稳定状态。)

理想情况下，当使用这种方法时，将生成在哪些节点上的排名遭受真正攻击的级别最高，并且随着主机风险级别的降低，相应的级别也会降低。使用这些列组，生成突出显示最高风险节点的可视化效果，如图2a所示。

在对报警图G进行排序之前，使用以下内容来扩充该图以提高排名输出质量的方式提供的数据。

在报警图中存在到给定节点的边可以被视为目标节点参与攻击的投票(类似于web pageRank )，扩展这个概念，如果确定一个给定的节点参与了攻击，希望观察这个事实如何影响图中的其他顶点,如图2b所示。

算法可识别的场景：

 

1.  Emergence of Unseen Hosts and Forensic Analysis

随着底层报警图的结构随时间变化，新的IP地址会自动移动到IP排名的顶部。如果新出现的主机直接连接到已被识别为已知攻击者或目标的IP地址，则它们的级别和重要性都会增加。两种情况下，主机标记为高风险主机：新主机继承了与已知攻击者或受害者相关联的高级别的一部分，新主机是多个攻击者攻击目标的协调攻击的受害者。

2.Anomalous Alarm Pattern Recognition

算法识别报警图中的异常链接模式， 能够突出显示具有较高真实攻击概率的警报集。例如，如下图，所示的警报集群是图中不常见的结构，表示DoS攻击。 

 

3.Identifification of Missed Attacks

上半部分显示了那些被标记为目标的主机，而左下半部分则显示了那些被遗漏的主机。此示例显示对运行在多个服务器上的FTP服务的暴力字典攻击。通过关联可以发现遗漏的事件。

4.Automated Watch List Generation

通过使用排名输出，我们可以成功地预测那些在随后的一天中参与攻击的概率最高的IP地址。对监视列表的评估表明，平均而言，能够成功预测在30天的历史报警数据样本中手动标记的83%的安全事件。

事件的成功预测定义为由算法生成的监视列表，包含事件的报警的源或目标IP地址

根据PageRank算法的递归计算继承了该排名的一部分，生成可疑IP地址的列表，(不同的攻击者数量，或者因为它们靠近在报警图中排名靠前的主机)

 

5.Facilitation of Sensor Tuning

排序算法有时会重复标识接收到级别很高，但没有参与真正的袭击。当这种行为经过一段时间的观察，能够使用过滤导致虚拟峰值的警报的算法。这个过滤类型提高了IDS基础设施的整体效率减少ESM和分析人员的工作量，提高整体质量导致更多的真正攻击检测。 

6.Visualization

 

顶点的颜色越深，它的等级就越高。图中最暗的顶点该图是已知参与攻击的主机，并且

显示添加了相应的辅助节点。那些顶点是浅灰色继承了高排名，并将出现在排名程序结束时生成的观察列表。附加灰色节点以主机的形式存在，这些主机接收到来自多个来源的IDS警报。这些非典型模式被我们的排名算法捕获，而这些主机也会出现在观察名单上。可视化使得结果信息一目了然，帮助安全人员进行分析。

算法局限性：

1. 单个动作组成的攻击非常很难发现。通常存在于ESM的规则模型将自动检测此类攻击。
2. 新IP地址将出现在报警日志中这是以前没有观察到的。因为主机以前不是在报警日志中，它不会包含在任何监视列表中。