依据BaiduHack多线程爬取攻击点url和网站url，保存至txt

j0101_

于 2021-03-02 16:17:19 发布

阅读量250

点赞数

分类专栏： Python网络安全

本文链接：https://blog.csdn.net/jexsen/article/details/114287778

版权

该博客介绍了如何利用多线程技术，结合队列、元组去重、正则表达式和BeautifulSoup库（bs4），依据BaiduHack方法来爬取攻击点URL和网站原始URL。执行结果为将这些URL分别保存到本地的txt文件中。

摘要由CSDN通过智能技术生成

依据BaiduHack多线程爬取攻击点url和网站url，保存至txt

使用了多线程，队列，元组去重，正则匹配，bs4，sys.arg手工传入参数等技术

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import requests
import sys
from queue import Queue
import threading
from bs4 import BeautifulSoup as bs
import re

# 百度查询语句 inurl:news_detail.php?id=

headers = {
   
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}

# 使用元组来去重
quchong = set()
quchong_root = set()


class BaiduSpider(threading.Thread):
    def __init__(self, queue):

        threading.Thread.__init__(self)
        self.queue = queue

    def run(self):
        while not self.queue.empty():
            url = self.queue