批量获取url指纹

最新推荐文章于 2023-02-17 13:09:54 发布
最新推荐文章于 2023-02-17 13:09:54 发布
阅读量346 收藏 1
点赞数 1
分类专栏： 工具 安全
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34101364/article/details/114478782
版权
安全 同时被 2 个专栏收录
58 篇文章 17 订阅
订阅专栏
工具
29 篇文章 3 订阅
订阅专栏

源码见github

实现了一个多线程获取web指纹的程序。

输入为url
输出为两个东西，一个文件夹，里面包含所有输入url的返回body；另一个为csv，内容包含：url,status,headers,body length,body url nums,redirect url,title,CMS,Message boards,Database managers,Documentation,Widgets,Ecommerce,Photo galleries,Wikis,Hosting panels,Analytics,Blogs,JavaScript frameworks,Issue trackers,Video players,Comment systems,Security,Font scripts,Web frameworks,Miscellaneous,Editors,LMS,Web servers,Caching,Rich text editors,JavaScript graphics,Mobile frameworks,Programming languages,Operating systems,Search engines,Webmail,CDN,Marketing automation,Web server extensions,Databases,Maps,Advertising,Network devices,Media servers,Webcams,Payment processors,Tag managers,CI,Control systems,Remote access,Development,Network storage,Feed readers,DMS,Page builders,Live chat,CRM,SEO,Accounting,Cryptominers,Static site generator,User Onboarding,JavaScript libraries,Containers,SaaS,PaaS,IaaS,Reverse proxies,Load balancers,UI frameworks,Cookie compliance,Accessibility,Social login,SSL/TLS certificate authority等

使用方法： python3 thread_main.py

5wimming
关注
专栏目录
如何用selenium或pyppeteer来链接并打开指纹浏览器AdsPower【最新版】
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
03-07 914
本文是该专栏的第66篇，后面会持续分享python爬虫干货知识。在本专栏之前，针对使用Python的Selenium或者Pyppeteer来链接并打开AdsPower指纹浏览器的方法，笔者前面都有详细介绍并附带完整操作代码。感兴趣的同学，可以往前翻阅查看。由于selenium目前的版本已经升级到 4.0+版本，之前笔者在文章中介绍的selenium操作方法是基于4.0+版本之前的，导致部分selenium启动操作可能会报错。所以笔者在本文中，将基于selenium最新的4.0+ 版本以及pyppeteer
【信息收集】——11、EHole系统指纹识别
Fly_鹏程万里
03-01 1934
EHole是一款对资产中重点系统指纹识别的工具，在红队作战中，信息收集是必不可少的环节，如何才能从大量的资产中提取有用的系统(如OA、VPN、Weblogic等)，EHole旨在帮助红队人员在信息收集期间能够快速从C段、大量杂乱的资产中精准定位到易被攻击的系统，从而实施进一步攻击GitHub - EdgeSecurityTeam/EHole: EHole(棱洞)3.0 重构版-红队重点攻击系统指纹探测工具。
【工具】批量网站CMS指纹识别
TeamsSix 的 CSDN 空间
07-15 1069
0x01 概述 使用Python3开发 结果导出为Output_Result.csv文件 使用在线平台（http://whatweb.bugscaner.com）进行指纹识别 项目下载地址：Batch-identification-of-website-CMS-fingerprints 0x02 使用方法 pip3 install -r requirements.txt python3 Bat...
Scrapy-Redis手动添加添加去重url(指纹)
qq_41236493的博客
06-19 847
Scrapy-Redis是根据队列调度请求，新添加的排在后面。当队列的长度排了很长的队，但是有一种数据我不希望它排队，我希望它直接请求，但是需要跟队列用同一Redis去重。 然后研究了一下Scrapy和Scrapy-Redis源码，实现手动添加指纹功能。 dupefilter.py 打开scrapy_redis.dupefilter.py文件，找到request_seen()方法 在这里我们注意...
“信息指纹”是什么
weixin_34381687的博客
12-04 161
“信息指纹”是什么 Jack zhai   一、信息指纹的由来 信息有“指纹”吗？信息要“指纹”做什么呢？ “指纹”一般特指我们识别人所采用各种方式的一个总称。生活中我们需要辨认出周围的每一个人，即使是非常相似的双胞胎，因为辨别是我们进行相互交流的前提。无论是通过名字、长相、声音的辨认，还是通过有技术依据的指纹与虹膜辨认，甚至是通过DNA鉴定，目的都只有一个，就是能准确确认对方。 可见指纹的首要用...
【安全】Web指纹识别
superwshu
08-25 3163
一般收集信息，我们要对服务端语言、Web开发框架、Web应用CMS、前短库和第三方组件等进行识别收集信息。 相对而言，Web应用的指纹稍微负责一些，也可以自己实现工具来探测http头，waf，cms等。也可以借助whatweb/wafw00f，参考这些成熟的开源工具。下面主要还是说一下这两工具。 0x00 嘚啵 1. whatweb whatweb是基于ruby语言开发的网站指纹识别软件，能识别网站的详细信息，CMS类型，博客平台，中间件，Web框架模块，网站服务器，脚本类型，JavaScript库
几款好用的指纹识别工具
slash_HK的博客
02-08 1万+
几款好用的指纹识别工具
EHole(棱洞)3.0-指纹探测工具.zip
01-13
最近 EHole 更新了3.0版本，提供了 finger 与 fofaext 参数，fofaext参数主要从fofa进行批量获取 IP 的端口情况，而 finger 则进行批量进行指纹验证识别。 目前开源的指纹将近1000条，基本上都是比较常遇到的系统，...
FuzzScanner——批量快速的信息搜集工具
不想当脚本小子的脚本小子
01-30 637
11
恶意url_预测URL的恶意
weixin_26722031的博客
08-01 3569
恶意urlIn this article, we walk through developing a simple feature set representation for identifying malicious URLs. We will create feature vectors for URLs and use these to develop a classification m...
批量获取网站标题
08-24
批量获取网站标题 支持域名、IP、端口识别 网页多次跳转，标题能正确获取 有建设建议请私信我
页面URL获取工具
04-01
工具功能，很强大，不限于以下功能 1、查看网页源码 2、鼠标获取网页地址 3、复制网页信息 4、查看网页文本 5、查看网页表单
url信息指纹计算改进
King的专栏
12-05 1127
目前使用CRC32算法 还是有比较大可能性出现碰撞 因此在发现相同的指纹时 再次以原始信息进行比较 在确定原始信息不一致  发生碰撞的前提下 使用另一个固定新初始值对 原始信息进行CRC32计算 获得新的指纹 这个指纹再次比较看是否有相同的指纹 如无则做为指纹保存 如有则再选一固定新初始值对原始信息进行CRC32计算 获得新的指纹 基本三个不同初始值产生的指纹碰撞范围已经超出目前搜索引擎的索引页面
爬虫获取多级页面数据丨Python基础实战系列(4)
阿星的Python技术分享博客
05-14 3324
有些时候，只抓取一个单级页面是无法完成数据提取的。本节讲解如何使用爬虫抓取多级页面的数据，涉及到正则表达式。【阿星建议】在学Python爬虫？建议你戳进来学习一下~
数学之美 信息指纹及其应用
阿伟
08-23 1105
原贴:http://googlechinablog.com/2006/08/blog-post.htmlGoogle （谷歌）中国的博客网志，走近我们的产品、技术和文化数学之美 系列十三 信息指纹及其应用2006年8月3日 上午 11:17:00uT("time115457675609630123");发表者：吴军，Google 研究员 任何一段信息文字，都可以
【网安神器篇】——系统指纹探测工具finger
Demo不是emo的博客
02-17 5424
系统指纹探测红队神器——finger
EHole 指纹探测工具——使用教程
热门推荐
W小哥
11-09 1万+
一、EHole介绍 最近 EHole 更新了3.0版本，提供了 finger 与 fofaext 参数，fofaext参数主要从fofa进行批量获取 IP 的端口情况，而 finger 则进行批量进行指纹验证识别。 目前开源的指纹将近1000条，基本上都是比较常遇到的系统，另外 finger 参数则可以直接识别下面格式的地址： IP:PORT HTTP(s)://URL HTTP(s)://IP HTTP(s)://IP:PORT 二、使用教程 在红队场景下首先对多个目标进行了资产收集，如同时几千上万个I
基于python批量获取Url
weixin_43570648的博客
08-02 1530
当我们想批量找注入的时候，这是就会想到某些批量Url获取的软件，但是可能存在后门，有时又因为玄学问题不运行，这不扯吗，于是，就干脆自己写一个脚本，批量获取百度的url 代码如下 # -*- coding: utf-8 -* from lxml import etree import requests import time import re import urllib.request DOMAIN = "https://www.baidu.com/s?wd=" a = input('请输入url:') b
学习笔记 - 如何一次性获得页面所有URL
MySQL
12-05 1万+
1、需求 想获得自己博客的所有文章URL列表，比如下面： 2、实现方法 比较笨的是，一个个点开，然后在上面的输入框里面copy出来，这种是最笨的办法，但是太累了，效率比较低，面对几百上千个博客文章，那要累死人了，有什么比较搞笑的办法没有，发动脑筋思考了下，想到了一个稍微高效一点点的办法。 2.1 博客列表右键查看源代码 打开如下所示，是一页html脚本代码 2.2并把源代码的所有html代码copy出来 Ctrl + a 全选中，Ctrl...
java获取浏览器指纹
最新发布
05-24
获取浏览器指纹（Browser Fingerprint）可以使用第三方库，如fingerprintjs2（https://github.com/Valve/fingerprintjs2）。 使用方法如下： 1. 引入fingerprintjs2库文件： ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值