superl-url,关键词URL采集工具

superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。

程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量采集自己获取感兴趣的网站的一个小程序~~

优势介绍

1.支持多搜索引擎,很方便添加集成。(已内置了百度,搜狗,360),结构模块化,很方便进行扩展,可以无限添加。

2.开源,跨平台,使用python开发;

3.做了兼容性优化,同时支持python2和python3;

4.支持自动过滤重复内容,支持过滤标题中存在指定关键词的内容,支持过滤域名;

5.保存方式同时支持本地txt和mysql数据库;

6.从搜索引擎采集到的地址,是真实网站地址,不是像百度快照那样的三方地址;

7.多进程同时采集。每个搜索引擎都单独一个进程;

8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL,或者只输出域名,或者同时输出标题,搜索引擎名称。

9.可自定义每页采集时间间隔,防止被屏蔽;

使用说明

1.安装python2或者python3运行环境;

2.如果提示没有找到库,则需要安装依赖:

如果是python3,则:pip install ConfigParserpip install tldextract

如果是Python2,则:pip install tldextractpip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

3.根据自己的需要,修改根目录下的config.cfg配置文件。


https://www.jianshu.com/p/39a2a512cc63

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值