14、恶意 IP 流记录的自动聚类

恶意 IP 流记录的自动聚类

在网络安全领域，基于异常的入侵检测系统面临着大量警报的挑战，这影响了系统的整体可用性。为了减少警报数量，对恶意流量进行结构化组织是必要的。本文将介绍一种基于无监督学习的自动攻击聚类方案，用于基于流量的入侵检测系统。

1. 背景与现状

异常入侵检测系统将网络流量分为正常和恶意两类。在基于流量的检测中，IP 流记录会被分类，但大量的 IP 流使得手动检查十分困难。现有的一些技术存在诸多弱点，比如使用有效负载检查、需要标记的训练集，且评估使用的是非代表性的旧数据集。

2. 相关工作

• Panacea 自动攻击聚类技术 ：用于基于数据包的入侵检测系统，由警报信息提取器（AIE）和攻击聚类引擎（ACE）两个模块组成。AIE 从入侵检测系统接收警报并提取字节序列，ACE 进行攻击数据包的聚类。聚类过程分两个主要阶段，先训练 ACE 构建聚类模型，训练完成后可自动分类新警报，使用支持向量机（SVM）和 RIPPER 规则学习器对相似攻击警报进行分组。
• Rieck 等人的恶意软件自动聚类框架 ：应用机器学习技术，使用基于原型的聚类和聚类算法识别新型恶意软件类别，并将未知恶意软件分配到已发现的类别中。先在沙箱环境中监控恶意软件行为并生成报告，将报告转换为向量空间模型，再应用聚类技术分析恶意软件行为。
• Bateni 等人的警报关联技术 ：使用模糊逻辑和人工免疫系统（AIS），计算两个警报之间的关联度以提取攻击场景。为每对输入警报创建特征向量，与一组模糊规则匹配，根据匹配情况使