构建一个快速的扫描器

最新推荐文章于 2023-03-21 15:36:05 发布

隐形人真忙

最新推荐文章于 2023-03-21 15:36:05 发布

阅读量2.5k

点赞数

分类专栏：安全编程

本文链接：https://blog.csdn.net/u011721501/article/details/47668025

版权

安全编程专栏收录该内容

34 篇文章 1 订阅

订阅专栏

0x00 前言

最近工作需要做大规模的扫描，需要自己根据指纹写一个扫描引擎，其中碰到了无数的坑，最后勉强算的过去，特地写写博客总结一下各种坑和思路。

0x01 任务队列+多线程模型

一开始自然而然想到的就是这个扫描模型，利用Python中的同步队列结合多线程发包、收包、写操作。大致模型如下：

class Worker(Thread):
    def __init__(self, queue):
        self.queue = queue
    def run(self):
        while True:
            ip = self.queue.get()
            sock.send()
            recv = sock.recv(buf_size)
            ....
            do sth....
            ....
            self.queue.task_done()
def main():
    ...
    worker = Worker(queue)
    work.deamon = True
    work.start()
    queue.join() # 队列同步
    ...

然而事实证明效率真的很低，只能发出可怜的几百pps，4M带宽都占不满。各位如果想做大规模扫描，我说的大规模扫描是指上亿的IP扫描，就别考虑这种方法了。
总结一下原因，主要是线程太多，切换时间非常耗费CPU，并且由于GIL的存在，效率可想而知。其次就是由于IP太多，不能全部放入队列中，必须在main函数中做个缓冲区，然后放入同步队列，频繁queue.join()的结果是状态为done的线程在等待慢线程的情景增多，效率自然就不高了，由于以上原因导致的效率低下，网络的IO延迟根本不算什么。
后来又想用celery做异步的任务，分离网络IO和本地IO，把线程中本地耗时长的IO操作分离出来，放到celery当中异步执行，这样可以加快发包收包线程的速度。结果发现更慢，建议不要用celery处理非常耗时的后台任务，感觉好坑….

0x01 基于无状态扫描模型

简单来说，就是不关心数据包的交互状态，这里不存在同步队列的情况。而是开辟两个线程即可，一个线程负责send，另一个线程负责recv，由于我业务上需要发送UDP协议为基础探测包。
这样做的好处是不同在一个线程中同时发送和接收报文，由于不关心网络通信的交互过程，因此，可以让发包线程和收包线程分别满负荷工作，不存在线程相互等待的情况，也基本不存在同步的情况，因此效率大大提高。模型大致如下：

class Sender(Thread):
    def __init__(self, sock):
        self.sock = sock
    def run(self):
        for ip in list:
            pack = package_create()
            self.sock.sendto(pack, server)
            ....
            do sth ...
            ....
class Receiver(Thread):
    def __init__(self, sock):
        self.sock = sock
    def run(self):
        while True:
            recv = self.sock.recvfrom(buf_size)
            handle_recv_package(recv)
            ....
            do sth ...
            ....
def main():
    sender = Sender(sock)
    recver = Receiver(sock)
    ....
    do sth ...
    ....
    sock.close()