Fast Portscan Detection Using Sequential Hypothesis Testing

作者

Jaeyeon Jung, Vern Paxson, Arthur W. Berger, and Hari Balakrishnan

DOI

[PDF](https://www.usenix.org/legacy/event/sec03/tech/full_papers/jung/jung.pdf)

关键词

Portscan detection, Sequential hypothesis testing, Network security

文章概述

本文介绍了一种使用顺序假设检验进行快速端口扫描检测的方法。通过分析连接日志数据，提出了一种基于失败连接尝试的算法，该算法能够有效地检测到端口扫描行为。与其他简单计数方法相比，该算法具有更高的准确性和效率。研究结果表明，该算法在检测速度、准确性和效率方面优于其他算法。未来的工作可以进一步改进算法，利用更多的信息来提高检测性能，并解决一些潜在的问题。

研究背景

本篇文章的研究背景是关于网络入侵检测系统（NIDS）中的端口扫描检测问题。攻击者经常对IP地址进行随机的端口扫描，以寻找易受攻击的服务器。NIDS试图检测这种行为，并将这些端口扫描器标记为恶意的。在这样的系统中，及时响应是非常重要的，NIDS越早检测到恶意行为，造成的损害就越小。同时，NIDS也不能错误地将良性的远程主机标记为恶意的。因此，在检测恶意扫描器的准确性和及时性之间需要进行平衡。本文通过将这个问题与顺序假设检验理论联系起来，提出了一种模型，将对本地IP地址的访问建模为两个随机过程上的随机游走，分别对应于良性远程主机和恶意远程主机的访问模式。然后，通过观察特定的轨迹并从中推断出远程主机最可能的分类，将检测问题转化为一个推断问题。基于这个思路，本文提出了一种在线检测算法TRW（Threshold Random Walk），用于识别恶意远程主机。通过对两个不同类型站点的跟踪分析，本文表明相比于之前的方案，TRW只需要更少的连接尝试（实际上只需要4或5次）就能检测到恶意活动，同时还提供了低（可配置的）漏检和误报概率的理论界限。总之，TRW比其他当前解决方案更快速、更准确地进行检测。

研究思路

本研究的研究问题是如何快速检测端口扫描行为，并准确地识别恶意扫描者。为了解决这个问题，研究团队提出了一种基于顺序假设检验的快速端口扫描检测算法。<br /><br />首先，研究团队对之前的扫描检测研究进行了调研，并介绍了相关工作。他们指出，现有的扫描检测算法大多是基于简单的计数方法，例如在给定时间窗口内检测源IP地址连接到多少个不同的目标IP地址。然而，这种方法容易被攻击者规避，并且可能误报正常的访问行为。因此，研究团队提出了一种基于失败连接尝试的检测方法，因为扫描者往往会选择未激活的IP地址或端口进行扫描。<br /><br />接下来，研究团队开发了基于顺序假设检验的检测算法，并通过数学分析来确定算法模型的参数，以平衡误报和漏报的概率，并与检测速度进行权衡。他们将本地IP地址的访问模式建模为两个随机过程中的随机游走，分别对应于正常远程主机和恶意远程主机的访问模式。通过观察特定的轨迹，推断远程主机最可能的分类。<br /><br />最后，研究团队评估了算法的性能，并与其他算法进行了比较。他们使用两个不同类型的站点的跟踪数据进行了分析，结果显示，相比之前的方案，他们的算法只需要更少的连接尝试次数就能检测到恶意活动，并且提供了低概率的漏报和误报的理论界限。总的来说，他们的算法在速度和准确性上都比其他现有解决方案更好。<br /><br />因此，本研究通过引入顺序假设检验的思想，提出了一种快速且准确的端口扫描检测算法，有效地解决了检测恶意扫描者的问题。

研究结果

根据文章的摘要和引言部分，这篇文章的主要目标是开发一种快速检测端口扫描的算法，并在实验中评估其性能。文章提出了一种基于顺序假设检验的检测算法TRW（Threshold Random Walk），并与其他算法进行了比较。<br /><br />具体来说，文章的每个步骤的研究结果如下：<br /><br />1. 引言部分介绍了端口扫描的背景和挑战，并提出了需要平衡准确性和及时性的检测算法。没有具体的实验结果。<br /><br />2. 相关工作部分回顾了现有的端口扫描检测算法，并指出它们的局限性。这一部分主要是对现有算法的描述和比较，并没有具体的实验结果。<br /><br />3. 介绍了用于开发检测算法的连接日志数据，并提出了TRW算法的基本思想。没有具体的实验结果。<br /><br />4. 开发了TRW算法，并进行了数学分析，以确定算法的参数设置对于误报和漏报的影响。文章给出了理论上的性能保证，但没有具体的实验结果。<br /><br />5. 在这一部分，作者评估了TRW算法的性能，并将其与其他算法进行了比较。作者使用了两个不同站点的跟踪数据进行评估，并展示了TRW算法相对于其他算法的优势。具体的实验结果表明，TRW算法相对于其他算法需要更少的连接尝试次数来检测恶意活动，并且在误报和漏报方面提供了理论上的界限。<br /><br />综上所述，文章的实验部分主要集中在第5部分，通过对TRW算法的性能评估来论证实验的假设。其他部分主要是对问题和现有算法的描述和分析，并没有具体的实验结果。

研究结论与讨论

1、研究结论：本文的研究结论是通过使用顺序假设检验的方法，可以有效地检测恶意扫描行为。作者开发了TRW（Threshold Random Walk）算法，相比之前的方案，TRW在实践中只需要较少的连接尝试次数（平均为4或5次）就能检测到恶意活动，并且提供了低概率的漏检和误报的理论界限。<br /><br />2、研究的创新性：本研究的创新性包括以下几个方面：<br />- 将IP地址的访问模式建模为随机游走，从而将恶意扫描与正常访问区分开来。<br />- 提出了TRW算法，通过观察连接轨迹来推断远程主机的最可能分类，从而实现了恶意扫描的检测。<br />- TRW算法相比其他方案具有更快的检测速度和更高的准确性。<br /><br />3、研究的不足之处：本研究的不足之处包括：<br />- TRW算法在使用过程中需要维护大量的状态信息，可能会导致资源消耗较大。<br />- TRW算法对于一些特定情况下的恶意扫描可能无法准确检测，例如使用DHCP、NAT和代理等技术隐藏真实IP地址的情况。<br /><br />4、研究展望：根据这项研究，后续可能的研究方向包括：<br />- 进一步优化TRW算法，减少对资源的消耗，提高检测的准确性和效率。<br />- 结合其他信息，如服务类型、连接尝试的速率等，进一步改进恶意扫描的检测能力。<br />- 探索其他机器学习或深度学习方法，提高恶意扫描检测的精度和鲁棒性。<br /><br />5、研究意义：本研究的理论意义和实践意义包括：<br />- 通过研究恶意扫描行为的检测方法，可以提高网络入侵检测系统的准确性和效率，及时发现并应对潜在的攻击行为。<br />- TRW算法的提出为恶意扫描检测领域带来了新的思路和方法，对于网络安全的研究和实践具有重要的参考价值。