Python PhishTank爬取(钓鱼网站的使用)

最新推荐文章于 2022-04-07 19:44:30 发布
最新推荐文章于 2022-04-07 19:44:30 发布
阅读量7.1k 收藏 11
点赞数
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/danielntz/article/details/52535879
版权
本文讲述了使用Python的BeautifulSoup库爬取PhishTank网站时遇到的屏蔽问题及解决方案。通过注册并获取App key，利用PhishTank API获取钓鱼网站URL，并将结果写入文件。同时处理404错误、不安全内容和请求超时问题。
摘要由CSDN通过智能技术生成

    最近在使用Python做网络爬虫，涉及到钓鱼网站的一些问题，或者说是使用Python爬取网站遇到的一些问题，Python语言中有很多强大的工具包，非常强大，在这里因为要爬取网页的内容，所以我选择的工具包为BeautifulSoup，一款强大的网页解析包。

   1 爬取网页内容   

    page = urllib2.urlopen(url)
    contents = page.read()
    print(contents)
      url 就是你爬取得网页地址：比如www.baidu.com

      contents就是你爬取得网页的内容也就是网页源代码，以上三行代码就可以完成一个网页的爬取，很简单，通常来说很多网页都可以用这种方法来爬取，但是有时因为遇到网页屏蔽，这个就不行了。最近我在爬取PhishTank这个网址时，就遇到了这个问题，如下图：


解决方法通常有很多种：1 添加http请求头的内容 ；2 使用相关网站的API

在此我使用的是网站的AP

最低0.47元/天 解锁文章
Danielntz
关注
专栏目录
pyphishtank:PhishTank API 的 Python 库
06-09
PyPhishTank PhishTank 检查 URL API 的 Python 包装器。 示例用法 from pyphishtank import PhishTank p = PhishTank () result = p . check ( "http://example.com" ) if result . in_database : if result . valid : print ( "{url} is a phish!" . format ( url = result . url )) else : print ( "{url} is not a phish!" . format ( url = result . url )) else : print ( "{url} is not in the PhishTank database" .
【安全工程师收藏】常见网址
gezigezao的博客
11-11 471
安全工程师常用网站
使用python获取phishTank网站
Zyoung1的博客
06-22 3035
PhishTank 提供了大量的钓鱼网站，下面我说一下自己获取phishTank的方法。 phishTank提供了以下几种接口，接口key需要自己注册获取。   我使用的是：http://data.phishtank.com/data/online-valid.csv这种格式。 把爬取到的网站以时间格式命名存在了E盘下。 url="http://data.phishtank.c...
Python+MySQL获取PhishTank的钓鱼网站列表作业笔记
10-20 390
仔细阅读PhishTank官方网站的开发者文档，了解API调用方法 1.注册账户，创建application并获取app_key 2.根据http://data.phishtank.com/data/<your app key>/online-valid.xml下载数据库导出文件.xml 于是便将问题转化为python解析xml大文件 Then 分别用xml...
使用PhishTank api检测钓鱼网站，提示You must supply a URL to use this function
一个有梦想的码农的博客
04-01 2238
解决方法： http://checkurl.phishtank.com/checkurl/ 将http换成https即可，就这样简单，就这样坑 PhishTank官方文档地址https://www.phishtank.com/index.php 简单介绍一下PhishTank，PhishTank是一个检测钓鱼网站的免费api，它运作方式就是，收集世界各地的人提交可疑的钓鱼网站，形成一个钓...
PhishTank恶意URL数据集分享
weixin_41174502的博客
05-31 3461
大概10000条钓鱼URL 链接：https://pan.baidu.com/s/1u4bzuu-0MpGeCoFpuEJ7rw 提取码：6413 文件格式：csv
OWASP top10
weixin_30338481的博客
11-18 374
PhishTank 是互联网上免费提供恶意网址黑名单的组织之一,它的黑名单由世界各地的志愿者提供,且更新频繁。 1、XSS 1.1、 XSS简介 跨站脚本攻击，英文全称是Cross Site Script，本来缩写是CSS，但是为了和层叠样式表有所区分，所以在安全领域叫做“XSS”。 XSS攻击，通常指黑客通过“HTML注入”篡改了网页，插入了恶意的脚本，从而在用户浏览网页时，...
钓鱼工具gophish史上最详细教程（附实例） —— 手把手教你成为“捕鱼人”
热门推荐
Ve99tr’s Blog
08-19 9万+
关于钓鱼工具 —— Gophish的超详细教程！
Python实现爬取需要登录的网站完整示例
09-21
本篇文章将详细介绍如何使用Python来爬取那些需要用户登录后才能访问的网站。 #### 一、准备工作 在开始之前，我们需要确保安装了以下Python库： - `requests`：用于发送HTTP请求。 - `lxml`：用于解析HTML文档，...
python如何爬取动态网站
09-16
在Python中爬取动态网站是一项挑战，因为许多网站依赖JavaScript来加载和呈现内容。动态网站的内容通常由JavaScript执行后生成，而传统的HTTP请求无法捕获这些动态生成的数据。本篇文章将探讨两种主要的方法来解决这...
Website-Phishing
04-08
网站钓鱼 资料集： 网络钓鱼网站的数据集将从UCI机器学习存储库中收集，该库可免费使用。 该数据集从不同来源收集了1353个不同的网站，包括1353个网站中的548个合法网站。 有702个网络钓鱼URL和103个可疑URL。 网络钓鱼网站是从Phishtank数据档案库（ ）中收集的。 数据集链接： : 行动计划： 从UCI机器学习存储库下载数据集。 下载数据集后，我将分析属性和数据。 我将使用无监督和有监督的学习技术来构建模型。 对于无监督学习，我将使用K-Means聚类算法。 对于监督学习，我将使用决策树算法。 文献评论： 网络钓鱼是网络攻击的一种形式，对用户产生不利影响，使用户被引导到虚假网站并被欺骗以泄露其敏感和个人信息，包括帐户密码，银行详细信息，atm密码卡详细信息等。因此，可以保护用户来自恶意软件或网络钓鱼的敏感信息非常困难。 根据Rakesh Ve
基于Python实现爬取豆丁考研网站的考研资料源代码，豆丁考研资料逆向请求参数加密
最新发布
05-01
基于Python实现爬取豆丁考研网站的考研资料源代码，豆丁考研资料逆向请求参数加密 安装教程 安装python和node.js pip install requests pip install pyexecjs2 使用说明 命令行中cd找到 source_code/豆丁考研...
Python：爬取网站图片
05-16
爬取网站图片： 1. 用 Jupyter Noteboke 打开； 2. 用到了requests库，如百度图片等； 3. json()函数； 4. 二进制格式储存图片；
python爬虫爬取幽默笑话网站
09-18
本案例中，我们将探讨如何使用Python爬虫来爬取一个幽默笑话网站，以获取并整理网页上的笑话内容。首先，我们需要访问目标网站：http://xiaohua.zol.com.cn/youmo/。 在爬取过程中，我们遇到的主要挑战有： 1. **...
26、威胁软件、文件、网址在线检测平台
__Qian的博客
03-09 1291
1、微步在线 提供网址和文件在线检测，可通过IP、网址、域名和文件进行查询。 官网地址：https://x.threatbook.cn/ 2、virustotal VirusTotal不仅告诉您给定的防病毒解决方案是否将提交的文件检测为恶意文件，而且还显示每个引擎的检测标签（例如I-Worm.Allaple.gen）。URL扫描程序也是如此，大多数扫描程序会区分恶意软件站点，网络钓鱼站点，可疑站点...
使用 Python 抓取知乎美图（文末含福利）知乎钓鱼贴汇总
简讯的读书笔记
07-01 1150
之前写到宅宅生活收藏夹的部署方法，见 使用Flask，Nginx，Gunicorn，Supervisor完成网站部署。这次介绍一下如何抓取知乎答案，获取知乎美图。 本文除 Python 相关库的使用外，还会涉及到 mongo 数据库的使用。 因为宅宅生活收藏夹只是为了收集知乎钓鱼贴的图片，有针对性，所以不能通过获取知乎首页列表全面抓取。当然抓取方式大同小异，把抓取列表改为知乎首页也是可以的。 整...
python钓鱼网站_Python+MySQL获取PhishTank的钓鱼网站列表作业笔记
weixin_39699912的博客
12-11 164
仔细阅读PhishTank官方网站的开发者文档，了解API调用方法1.注册账户，创建application并获取app_key2.根据http://data.phishtank.com/data//online-valid.xml下载数据库导出文件.xml于是便将问题转化为python解析xml大文件Then 分别用xml.dom和xml.sax尝试去解析文档，均遇到相同问题：xml.parse...
网络安全 社会工程学--钓鱼网站的制作和利用（让你了解整个钓鱼网站 背后的秘密.）
网络安全领域___专研者.
04-07 4880
现在的互联网很发达，钓鱼网站也是无处不有的，所有让我带你了解钓鱼网站的制作，使用（后台的秘密）和防御。 钓鱼网站的 概括 ： 顾名思义钓鱼网站，就是愿者上钩的网站一般的这些网站都是有鱼饵。一般都是贪图小便宜的人才会损失很大，所以在我们进行网购的时候，一定要仔细识别网站平台的真假。不能因为便宜就轻易相信并交易。而这些钓鱼网站即使做的再惟妙惟肖，也是会有蛛丝马迹的不同。但是域名（链接）这块，是不可能 一模一样 的.
pythonpython爬取网站资源
05-31
要使用 Python 爬取网站资源，可以使用 Python 中的 requests 库和 BeautifulSoup 库。 首先，使用 requests 库发送 HTTP 请求，获取网页的 HTML 内容。例如： ```python import requests url = 'http://example.com' response = requests.get(url) html_content = response.content ``` 然后，使用 BeautifulSoup 库解析 HTML 内容，提取需要的信息。例如： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') title = soup.title.string links = soup.find_all('a') ``` 其中，`title` 变量保存网页标题，`links` 变量保存所有链接元素。 如果需要爬取的是图片或其他二进制文件，可以使用 requests 库的 `content` 属性获取二进制内容。例如： ```python url = 'http://example.com/image.jpg' response = requests.get(url) image_content = response.content ``` 然后，将 `image_content` 写入本地文件即可。 需要注意的是，爬取网站资源需要遵守相关法律法规和网站的规定，不要进行非法爬虫行为。同时，爬虫程序也需要注意代码质量和效率，不要给目标网站带来过大的负担。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值