- 博客(47)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Python 查询 IP 地址段，并获取 Hostname
确定了 IP 地址段之后，我们需要确定每个 IP 的 hostname 是不是：x.fwd.linkedin.com。大量抓取网站，需要确定那些是 LinkedIn 的爬虫，经过对。这样就可以确定那些 IP 地址是 LinkedIn 的爬虫了。，确定了 hostname。
2023-11-04 15:20:37
814
原创 UserAgent 解析
介绍了两种方式解析UserAgent库解析UserAgent与在线UserAgent解析，同时对于这两种方式存在的优劣经行了一个比较，具体情况我们可以采用不同的方式解析UserAgent。通过以上介绍，你是不是觉得UserAgent解析很简单？...
2022-07-30 16:49:54
1754
1
原创 useragent怎么获取
通过两种方式获取我们当前的UserAgent，至于那种方式方便，需要我们根据实际情况判断。UserAgent在线查找工具不仅能够获取Useragent，也能够解析Useragent。这两种方法是不是很简单，赶快试试吧！https。...
2022-07-30 16:40:41
6262
原创 useragent在线查找
主要介绍了useragent在线查找工具的具体用法，同时也一个示例看出useragent在线查找工具能够查询出useragent的那些信息，可以帮助我们检查日志中的一些爬虫信息。https。
2022-07-30 16:18:53
3104
原创 如何在 MAC 电脑上查找 IP 地址
这篇文章通过两种方式查找我们Mac的内部IP地址，一种是通过图形界面，一种是通过终端程序获得内部IP地址。最后我们通过IP查询工具查询了我们的外部IP地址。httpshttps。
2022-07-30 16:07:54
10407
原创 爬虫数据是如何收集和整理的？
通过以上四个方式详细说明了爬虫识别网站是如何收集和整理爬虫数据的，同时如何确保爬虫数据的准确可靠，当然在实际操作过程中不仅仅是以上四种方法，不过都使用的比较少，所以在此处也不做介绍。httpshttpshttpshttps。...
2022-07-27 15:56:32
827
原创 水墨云怎么样？
今天看到水墨云这个云服务厂商，才开始是做 CDN 的，之后开始做 vps 业务。我登陆官方网站，查看了它家的产品大部分是年付，且不支持退款，于是我打消了每一台服务器测试的念头，这篇文章只能从它公开的测试 IP 入手看看水墨云这家的 vps 怎么样。但是我发工单希望给几个测试 IP 地址，工单回复却是：好吧，于是我只能在产品列表里看看有没有公布可以测试的 IP 地址，翻完了整个产品列表只找到6个测试 IP 地址。于是我将这6个 IP 地址加入监控列表，通过水墨云网速监控，我们可以通过各个不同地区查看到监控点到
2022-07-13 16:51:58
676
原创 如何屏蔽 YandexBot
我们经常会受到大量的 YandexBot 访问，我们知道 YandexBot 是 Yandex 的搜索引擎的爬虫。大量的 YandexBot 访问，不仅给服务器造成了非常大的压力，同时也会使正常访客访问网站变慢，影响体验。基于以上原因，我们不得不限制 YandexBot 的访问，但是需要注意的一点：限制 Yandex 访问会损失 Yandex 带给我们的流量，由于限制了 Yandex 的爬虫索引我们的网站，所以当用户在 Yandex 搜索我们网站的主题词时，不会有任何展示，所以也不会给我们带来任何流量。如果
2022-07-13 16:40:53
610
原创 yandex robots txt
robots.txt 是一个包含网站索引参数的文本文件，供搜索引擎的机器人使用。Yandex 支持具有高级功能的 Robots Exclusion 协议。当抓取一个网站时，Yandex 机器人会加载 robots.txt 文件。如果对该文件的最新请求显示某个网站页面或部分被禁止，机器人就不会索引它们。Yandex 机器人可以正确处理 robots.txt，但是需要满足以下要求：文件大小不超过 500KB。它是一个名为 "robots "的TXT文件， robots.txt。该文件位于网站的根目录中。该文件可
2022-07-13 16:35:28
2342
原创 block yandex bot
yandex bot 是 Yandex 搜索引擎的爬虫。在 yandex bot user agent 这篇文章中，我总结了所有 yandexbot 的 User-agent，通过那篇文章，我们可以看出有些 Yandexbot 遵守 robots.txt 协议 ，有些不遵守 robots.txt 协议。我们需要屏蔽 yandexbot（block yandex bot） 可以通过 robots.txt 和 IP 的方式屏蔽，下面分别来讲。yandex bot user agent 这篇文章中只有遵守 rob
2022-07-13 16:25:08
390
原创 yandex bot user agent
爬虫识别网站收集和整理了 yandexbot 所有的 user-agent，方便大家识别 yandexbot。说明：YandexAccessibilityBot 下载页面以检查用户的可访问性。它每秒最多向站点发送 3 个请求。机器人会忽略Yandex.Webmaster 界面中的设置。是否遵守 robots.txt 协议：否说明：Yandex 广告机器人是否遵守 robots.txt 协议：是说明：索引帖子评论的博客搜索机器人。是否遵守 robots.txt 协议：是说明：yandex 搜索引擎主要索引机器
2022-07-13 16:23:01
6448
原创 yandexbot ip 地址段
YandexBot 是 Yandex 的搜索引擎的爬虫。Yandex 是一家俄罗斯互联网公司，在俄罗斯经营最大的搜索引擎，在该国拥有约 60% 的市场份额。截至 2012 年 4 月，Yandex 排名全球第五大搜索引擎，每天有超过1.5 亿次搜索，访客超过 2550 万。经常有网友问我如何屏蔽 yandexbot，或者如何查询 yandexbot ip range（yandex ip 地址段）？这篇文章中我详细介绍一下这两个问题。我们可以通过 robots.txt 屏蔽 yandexbot 的爬虫，下面是
2022-07-13 16:20:31
3056
原创 rogerbot 爬虫介绍
Rogerbot 是 Moz Pro Campaign 网站审核的 Moz 爬虫。它与 Dotbot 不同，Dotbot 是为链接索引提供支持的网络爬虫。Rogerbot 访问您网站的代码以将报告发送回您的 Moz Pro Campaign。这可以帮助您了解您的网站并教您如何解决可能影响您的排名的问题。Rogerbot 为您的站点抓取报告、按需抓取、页面优化报告和页面评分器提供数据。Rogerbot 旨在遵守 robots.txt 文件。您可以使用这个奇妙的文件来通知机器人它们应该如何在您的站点上运行。这有
2022-07-13 15:57:56
219
原创 反爬虫的重点：识别爬虫
我们在网站运营的时候，最大的问题就是：我们自己花费几个小时甚至是几天辛辛苦苦创作作的内容，被爬虫只需要 1s 就抓去了。为了保卫我们创作的成果，也为了网站的稳定运行，我们需要对爬虫说：No，我们在反爬虫的过程中最重要的就是如何识别爬虫。为了识别识别爬虫，常用的有以下几个方法：所谓的真人检测也就是出现一个验证码，让你输入验证码的内容，这些验证码对于人类来说很容易识别，但是对于机器来说却很难识别，例如这种验证码：这种验证码只有人类很轻易识别，爬虫却很难识别。这里验证码对于人类来说也很友好，我们只需要将滑块移到一
2022-07-05 15:44:28
494
原创 你需要知道的 10 大互联网爬虫
机器人和僵尸网络通常与网络犯罪分子窃取数据、身份、信用卡号码和更糟糕的情况有关。但是，机器人也可以有好的目的。将好的机器人与坏的机器人区分开来，也可以在保护你公司的网站和确保你的网站获得应有的互联网流量方面发挥很大作用。大多数好的机器人基本上都是世界上最大的网站派出的爬虫，为其搜索引擎和社交媒体平台索引内容。你想让这些机器人访问你。它们会给你带来更多的访问量！ 如果我们阻止这些好的爬虫抓取我们的网站，将会给我带来损失。这里，按照爬虫访问任何网站的可能性的倒序排列，是你现在应该知道的10个最重要的好机器人。请
2022-07-01 17:05:58
1930
原创 可在线接收验证短信的网站
数据信息安全于我们每个人都有着重要的意义，还记得你常收到的陌生推销或骚扰电话吗？出于论坛资源下载、数据服务试用等现实临时需要，我们有时候不得不注册使用一些可能并不会经常使用的网站或平台服务，手机号码也不可避免的被要求绑定注册，久而久之我们的个人信息被拿捏存储在别人的数据库中，而对于这些被交付的私人数据我们个人目前多半无能为力。现代社会中大多数人容易忘记密码，因此，为了方便，各大网站或者APP就相继出现以手机号码进行短信验证来注册和登录等操作。但此时，大多个人手机号码都已经是实名认证的，就非常怕存在个人信息泄
2022-06-30 16:17:47
11703
原创 如何检测爬虫 IP
这篇文章我们将详细介绍如何识别爬虫 ip。我们在网站运营的时候，经常有各种各样的爬虫来光顾，有好的爬虫，例如：搜索引擎爬虫、营销类的爬虫、屏幕快照类爬虫、监控类爬虫、信息流类爬虫、链接检查类爬虫、工具类爬虫、速度测试类爬虫、漏洞类爬虫。恶意的爬虫，例如：抓取类爬虫、伪造爬虫等。我们将爬虫分为两类，但也不是绝对的，有一些搜索引擎爬虫在国内没什么问题，但是在国外由于过度抓取，而被列入黑名单。而被站长加入黑名单，所以最终还是要根据自己的实际情况。我们经常在检查日志的时候，看到 User-agent 是爬虫的，但是
2022-06-29 17:07:09
1442
原创 baidu spider IP 查询
baidu spider 是百度搜索引擎的爬虫代理。有朋友经常问这个 IP 是不是 baidu spider 的 IP 地址？而对于只有一个 IP 的情况，我们应该如何去判断是不是 baidu spider 的 IP 地址呢？我们可以使用爬虫识别这个工具网站来查询具体的 IP 是 baidu spider 还是假 baidu spider，下面是示例：例如我们查询这个 IP 地址：220.181.38.251 通过上图我们可以看出它并不一个 baidu spider 的 IP 地址，再来一个 IP 地址看看
2022-06-16 15:19:43
1742
原创 爬虫常说的君子协议是什么
我们常常说 robots.txt 协议防君子不防小人。robots.txt 协议防什么样的君子，又防不了什么样的小人呢？就听我给你一一道来。爬虫常说的君子协议是什么首先我们需要了解爬虫常说的君子协议是什么，也就是什么是 robots.txt 协议，下面是关于 robots.txt 协议的描述：robots.txt 文件规定了搜索引擎抓取工具可以访问您网站上的哪些网址。 此文件主要用于避免您的网站收到过多请求；它并不是一种阻止 Google 抓取某个网页的机制。并非所有搜索引擎都支持 robot
2022-05-01 18:16:03
529
原创 爬虫常说的君子协议是什么
我们常常说 robots.txt 协议防君子不防小人。robots.txt 协议防什么样的君子，又防不了什么样的小人呢？就听我给你一一道来。
2022-05-01 18:14:26
1456
转载 爬虫技术是做什么的
简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，从这个链接跳到那个链接，查查数据，或者把看到的信息传输回去。就像一只蜘蛛在互联网这张大网上不知疲倦的爬来爬去。你每天使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。抢票软件，就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对你喊：土豪快来付款。这些都可以使用爬虫来实现，爬虫其实可以代替
2022-04-30 17:34:01
1792
原创 爬虫数据采集
经常有小伙伴需要将互联网上的数据保存的本地，而又不想自己一篇一篇的复制，我们第一个想到的就是爬虫，爬虫可以说是组成了我们精彩的互联网世界。网络搜索引擎和其他一些网站使用网络爬虫或蜘蛛软件来更新他们的网络内容或其他网站的网络内容索引。网络爬虫复制页面以供搜索引擎处理，搜索引擎对下载的页面进行索引，以便用户可以更有效地搜索。这都是爬虫数据采集的功劳。这篇文章我总结了爬虫数据采集的说有流程，从最开始的最简单的基本爬虫，到爬虫所采集到的数据如何存储，以及我们如何绕过一些反爬措施，来获取我们需要的数据，进行爬
2022-04-30 17:29:17
10934
1
原创 爬虫数据采集
经常有小伙伴需要将互联网上的数据保存的本地，而又不想自己一篇一篇的复制，我们第一个想到的就是爬虫，爬虫可以说是组成了我们精彩的互联网世界。
2022-04-28 17:09:09
2366
原创 爬虫系列：处理格式规范的文字
处理格式规范的文字在上一篇文章中我们介绍了图像识别与文字处理，同时还讲解了有哪些基本的 OCR 库。你要处理的大多数文字都是比较干净、格式规范的。格式规范的文字通常可以满足一些需 求，不过究竟什么是“格式混乱”，什么算“格式规范”，确实因人而异。 使用一个标准字体（不包含手写体、草书，或者十分”花哨的“字体） 虽然被复印或拍照，字体还是很清晰，没有多余的痕迹或污点 排列整齐，有歪歪斜斜的字 没有超出图片范围，也没有残缺不全，或紧紧贴在图片的边缘 文字的一些格式
2022-04-19 11:08:32
340
原创 爬虫系列：图像识别与文字处理
从 Google 的无人驾驶汽车到可以识别假钞的自动售卖机，机器视觉一直都是一个应用广泛且具有深远的影响和雄伟的愿景的领域。在接下来的几篇文章中，我们将重点介绍机器视觉的一个分支：文字识别，介绍如何用一些 Python 库来识别和使用在线图片中的文字。当你不想让自己的文字被网络机器人采集时，把文字做成图片放在网页上是常用的办法。在一些联系人通讯录里经常可以看到，一个邮箱地址被部分或全部转换成图片。人们可能觉察不出明显的差异，但是机器人阅读这些图片会非常困难，这种方法可以防止多数垃圾邮件发送器轻易地获取你
2022-04-19 11:03:50
850
2
原创 爬虫系列：在 Python 中用 Selenium 执行 Javascript
Selenium是一个强大的网络数据采集工具，其最初是为网站自动化测试而开发的。近几年，它还被广泛用于获取精确的网站快照，因为它们可以直接运行在浏览器上。Selenium 可以让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。Selenium 自己不带浏览器，它需要与第三方浏览器结合在一起使用。例如，如果你在 Firefox 上运行 Selenium，可以直接看到一个 Firefox 窗口被打开，进入网站，然后执行你在代码中设置的动作。虽然这样可以看得更清楚，但是我更.
2022-04-08 15:54:45
3607
原创 python 爬虫 下载任意网页图片
可以通过 Python 爬虫下载任意网页图片。通过使用正则表达式提取图片地址。程序可能比较简单，也有很多缺陷，还需要自己根据情况修改，来满足项目要求。但是作为爬虫的练手项目， 以及本事的思路还是很有借鉴意义的#!/usr/bin python#--*-- coding:utf-8 --*--import osimport urllibimport reimport timeimport urllib2 import HTMLParser #获取页面内容
2022-03-31 15:48:25
218
原创 url 中的 #:~:text= 应该如何使用
最近在使用 Google 搜索的时候，跳转到网站上会出现如下的连接：爬虫，我们可以看到 url 后面跟了一个：#:~:text=今天我们就来说说这个是干什么用的。这个是 Google Chrome 的一个新功能：你在#:~:text=内容，他就会突出显示 text 后面的文本内容，截图如下：注意红框里面的内容，这是一个名为 Scroll To Text Fragment 的功能。自 Chrome 80 起默认启用它，但显然尚未在其他浏览器中实现。👇是 Firefox 浏览器的效果：.
2022-03-31 15:17:52
1206
原创 爬虫系列：穿越网页表单与登录窗口进行采集（二）
上一期我们讲解了Python Requests 库、提交一个基本表单、HTML 相关控件等内容。本篇文章我们接着上一期文章介绍通过 Python Requests 提交文件和图像、处理登录 cookie、HTTP 基本接入认证以及其他表单相关问题。提交文件和图像虽然上传文件在网络上很普遍，但是对于网络数据采集其实不太常用。但是，如果你想为自己网站的文件上传一个测试实例，也可以通过 Python Requests 库实现。不管怎么说，掌握工作原理总是有用的。下面是一个文件上传的源代码示例：.
2022-02-23 14:41:51
220
原创 爬虫系列：穿越网页表单与登录窗口进行采集
上一期我们讲解了数据标准化相关内容，首先对单词出现的频率进行排序，之后对一些大小写进行转换，缩小 2-gram 序列的重复内容。当我们真正迈出网络数据采集基础之门的时候，遇到的第一个问题可能是：“我怎么获取登录窗口背后的信息呢？”今天，网络正在朝着页面交互、社交媒体、用户产生内容的趋势不断地演进。表单和登录窗口是许多网站中不可或缺的组成部分。不过，这些内容还是比较容易处理的。到目前为止，以前的示例当中网络爬虫和大多数网站的服务器经行数据交互时，都是用 HTTP 协议的 GET 方式去请求信息。在这一
2022-01-12 09:39:24
235
原创 爬虫系列：数据标准化
上一期我们介绍了使用Python 数据清洗的相关方法，本篇文章我们介绍数据标准化的相关方法。每个人都会遇到一些样式设计不够人性化的网页，比如“请输入你的电话号码，号码格式为 xxx-xxxx-xxxx”。作为一名优秀的程序员，你可能会问：”为什么不自动对输入的数据进行清洗，去掉非数字内容，然后自动把数据加上分隔符呢？“数据标准化过程要确保清洗后的数据在语言学上是等价的，比如电话号码虽然显示成”134-1234-5678“和”134-12345678“两种形式，但是实际号码是一样的。还是用上一期.
2022-01-07 16:49:38
436
原创 爬虫系列：数据清洗
上一期我们讲解了使用Python 读取 CSV、PDF、Word 文档相关内容。前面我们已经介绍了网络数据采集的一些基础知识，现在我们将进入高级数据采集部分。到目前为止，我们创建的网络爬虫都不是特别给力，如果网络服务器不能立即提供样式规范的信息，爬虫就不能采集正确的数据。如果爬虫只能采集那些显而易见的信息，不经过处理就存储起来，那么迟早要被登录表单、网页交互以及 Javascript 困住手脚。总之，目前爬虫还没有足够的实力去采集各种数据，只能处理那些愿意被采集的信息。在高级数据采集部分就是要帮你.
2021-12-28 16:02:58
2199
原创 爬虫系列：读取 CSV、PDF、Word 文档
上一期我们讲解了使用 Python 读取文档编码的相关问题，本期我们讲解使用 Python 处理 CSV、PDF、Word 文档相关内容。CSV我们进行网页采集的时候，你可能会遇到 CSV 文件，也可能项目需要将数据保存到 CSV 文件。Python 有一个超赞的标准库可以读写 CSV 文件。虽然这个库可以处理各种 CSV 文件，但是我们这里重点介绍标准 CSV 格式。读取 CSV 文件Python 的 CSV 主要是面向本地用户，也就是说你的 CSV 文件得保存到你的电脑上。而经行网络数据
2021-12-21 16:07:30
1462
原创 爬虫系列：读取文档
上一篇文章我们介绍了如何通过 MySQL 存储 Python 爬虫采集的内容，以及使用Python 与 MySQL 交互，这篇文章我们介绍如何通过 Python 读取文档。虽然互联网在20世纪60年代末期就已经以不同的形式出现，但是 HTML 直到1992年才问世。在此之前，互联网上基本就是收发邮件传输文件；今天看到的网页概念那时还没有。总之，互联网并不是一个 HTML 页面的集合。他是一个信息集合，而 HTML 文件只是展示信息的一个框架而已。如果我们的爬虫不能读取其他类型的文件，包括纯文本、PDF、
2021-12-21 14:59:53
351
原创 爬虫系列：使用 MySQL 存储数据
上一篇文章我们讲解了爬虫如何存储 CSV 文件，这篇文章，我们讲解如何将采集到的数据保存到 MySQL 数据库中。MySQL 是目前最受欢迎的开源关系型数据库管理系统。一个开源项目具有如此之竞争力实在是令人意外，它的流行程度正在不断地接近两外两个闭源的商业数据库系统：微软的 SQL Server 和甲骨文的 Oracle 数据库（MySQL 在2010年被甲骨文收购）。它的流行程度名符其实。对于大多数应用来说，MySQL 都是不二选择。他是一种非常灵活、稳定、功能齐全的 DBMS，许多顶级的网站都在
2021-12-09 16:13:09
703
原创 爬虫系列：存储 CSV 文件
本期将讲解如果将数据保存到 CSV 文件。逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号）是存储表格数据常用文件格式。Microsoft Excel 和很多应用都支持 CSV 格式，因为它很简洁。下面是一个 CSV 文件的例子：code,parentcode,level,name,parentcodes,province,city,district,town,pinyin,jianpin,firstchar,tel,zip,lng
2021-12-09 15:29:08
1561
原创 百度 IP 查询
查询 IP 地址以及百度爬虫 IP我们如果要查询 IP 地址，互联网上有很多提供IP查询服务的网站，我这里总结和归纳如下：国内提供 IP 查询的网站： IP138 IPIP，提供 IP 详细信息，同时有 Ping、traceroute 等工具 爬虫识别，提供 IP 查询与互联网爬虫查询服务，例如：百度蜘蛛、Google 蜘蛛查询... 纯真 埃文科技，提供 IP 详细信息，同时有 Ping、traceroute 等工具 chaipip
2021-12-06 15:40:53
3542
原创 IPv6 私有地址
在互联网的地址架构中，专用网络是指遵守RFC 1918（IPV4）和RFC 4193（IPV6）规范，使用专用IP地址空间的网络。私有IP无法直接连接互联网，需要使用网络地址转换（Network Address Translator，NAT）或者代理服务器 （proxy server）来实现。与公网IP相比，私有IP是免费的，同时节省了IP地址资源，适合在局域网使用。IPv6 的私有 IP 定义在 RFC 4193，地址块 fc00 :: /7 已保留。这些地址称为唯一本地地址（Unique Local
2021-12-04 11:45:03
8702
原创 如何判断一个 IP 是爬虫
通过 IP 判断爬虫如果你查看服务器日志，看到密密麻麻的 IP 地址，你一眼可以看出来那些 IP 是爬虫，那些 IP 是正常的爬虫，就像这样：在这密密麻麻的日志里面，我们不仅要分辨出真正的爬虫 IP ，同时也要分辨出伪造的爬虫 IP，实属不易。如果查看服务器日志，我们可以先通过 User-agent 大致判断出是爬虫还是正常用户，例如：Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)这.
2021-11-09 14:01:50
1598
Redis-x64-3.2.100.msi
2017-09-24
appscan 8.0 破解，appscan8.0 破解下载
2016-12-27
asp.net mvc 图片上传
2016-08-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人