揭秘：6个能够击败任何爬虫的绝密 ‘反爬虫‘ 措施！

小敢摘葡萄

已于 2024-01-22 19:16:41 修改

阅读量2.2k

点赞数 23

文章标签：爬虫 Python基础 Python编程 python 反爬虫

于 2023-12-04 11:26:18 首次发布

本文链接：https://blog.csdn.net/xiaoganbuaiuk/article/details/134779356

版权

掌握爬虫技术是许多开发者学习的重要一步。而在实践过程中，经常会遇到各种各样的反爬措施。那么，当你遭遇这些反爬虫措施时，应该如何应对呢？本文将为您梳理一些常见的反爬措施以及相应的解决方案，帮助您应对这些挑战。

1. User-Agent检测

网站会检查请求头中的User-Agent信息，如果检测到机器人或非常用的User-Agent，可能会阻止请求。比如知乎的requests headers

解决方案：通过设置请求头中的User-Agent，模拟真实浏览器的User-Agent。

比如，下面用aardio 的inet.http来抓取网页，先收集一些User-Agent来随机切换，网站就会认为是不同的浏览器在访问.

import console; 
import inet.http;

var userAgent = {"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/531.21.8 (KHTML, like Gecko) Version/4.0.4 Safari/531.21.10",
    "Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/533.17.8 (KHTML, like Gecko) Version/5.0.1 Safari/533.17.8",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533.19.4 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-GB; rv:1.9.1.17) Gecko/20110123 (like Firefox/3.x) SeaMonkey/2.0.12",
    "Mozilla/5.0 (Windows NT 5.2; rv:10.0.1) Gecko/20100101 Firefox/10.0.1 SeaMonkey/2.7.1",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_8; en-US) AppleWebKit/532.8 (KHTML, like Gecko) Chrome/4.0.302.2 Safari/532.8",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_4; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.464.0 Safari/534.3",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_5; en-US) AppleWebKit/534.13 (KHTML, like Gecko) Chrome/9.0.597.15 Safari/534.13",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.54 Safari/535.2",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.36 Safari/535.7",
    "Mozilla/5.0 (Macintosh; U; Mac OS X Mach-O; en-US; rv:2.0a) Gecko/20040614 Firefox/3.0.0 ",
    "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.0.3) Gecko/2008092414 Firefox/3.0.3",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.5; en-US; rv:1.9.1) Gecko/20090624 Firefox/3.5",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.14) Gecko/20110218 AlexaToolbar/alxf-2.0 Firefox/3.6.14",
    "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52"
}

http = inet.http()


http.addHeaders = `User-Agent: `+ userAgent[math.random(1,#userAgent)]

html = http.get("http://www.baidu.com")

console.log(html)

console.pause(true);

2. IP限制和封禁

网站可能会限制IP访问频率或封禁频繁访问的IP地址。

解决方案：使用代理IP轮换请求，通过更换IP地址来规避IP限制和封禁。可以使用第三方代理服务或自建代理池。

比较成熟的方式是：IP代理池

简单的说，就是通过ip代理，从不同的ip进行访问，这样就不会被封掉ip了。

可是ip代理的获取本身就是一个很麻烦的事情，网上有免费和付费的，但是质量都层次不齐。如果是企业里需要的话，可以通过自己购买集群云服务来自建代理池。

import inet
import inet.http;

//第二个参数设置代理
var http = inet.http(,"61.188.220.115:6668");
var html = http.down("http://www.baidu.com/s?wd=ip&inputT=397");
string.save("/test.html", html )
import process;
process.execute("/test.html");

3. 验证码

网站可能会在爬取页面前加入验证码，要求用户输入验证码才能继续访问。

解决方案：使用第三方库如enocr,shibie进行验证码识别，自动解析验证码并提交。

比如使用enocr识别下面这些验证码:

import win.ui;
import fsys
import enocr

var winform = win.form(text="拖放验证图片到图片框";right=358;bottom=250)
winform.add(
button={cls="button";text="更换图片";left=126;top=199;right=226;bottom=236;z=2};
edit={cls="edit";left=129;top=141;right=227;bottom=170;edge=1;z=1};
plus={cls="plus";left=86;top=37;right=278;bottom=114;acceptfiles=1;bgcolor=16777215;z=3}
)


var list = fsys.list("/",".jpg")

winform.plus.onDropFiles = function(files){ 
    winform.plus.background = files[1]
    winform.edit.text = enocr.ocr(files[1])
}

winform.button.oncommand = function(id,event){
    var path = list[list[math.random(1,#list)]]
    winform.plus.background = path
    winform.edit.text = enocr.ocr(path)
}

winform.show();
win.loopMessage();

4. 动态加载和AJAX

网页内容可能通过动态加载、AJAX等技术在页面加载后进行渲染。

解决方案：使用无界面浏览器库（如chrome.auto或chrome.driverex）来模拟真实浏览器行为，动态渲染页面后再进行解析。

下面使用chrome.driverex设置无界面浏览器来获取html

import chrome.driverex
import console

driver = chrome.driverex()

//设置为无界面浏览器
driver.setHeadless()

//打开浏览器
wb = driver.startBrowser()

wb.go("http://www.baidu.com")
//等待加载完毕
wb.wait()

//获取html源码
console.log(wb.getSource())

console.pause()

wb.closeAll()

5. 数据加密

网站可能对请求参数进行加密或使用特定的加密算法，导致普通的请求无法得到正确的响应。

解决方案：分析加密方法，逆向工程出正确的加密参数，模拟正确的请求进行爬取。

6.登录和Cookie

网站可能要求用户登录后才能访问特定页面，或使用Cookie进行状态维持。

解决方案：通过模拟登录过程，获取登录后的Cookie，并在爬取过程中正确设置Cookie信息。

使用inet.http是自动管理cookie信息的，所以下面我们使用inet.whttp来添加cookie

import console; 
import inet.whttp

http = inet.whttp()

//添加cookie
http.addHeaders = "Cookie:BIDUPSID=DEB7141613A7B1CC67B35E8411D8F96D"

html = http.get("https://www.baidu.com")

console.log(html)
console.pause(true);

记住，无论遇到什么反爬措施，都要遵守网站的规则和法律法规，避免对网站造成不必要的负担。此外，尊重网站的反爬政策，采取合适的爬取频率和措施，确保自己的爬虫行为合法合规。

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

在这里插入图片描述

简历模板 在这里插入图片描述

若有侵权，请联系删除

小敢摘葡萄

关注

23
点赞
踩
18

收藏

觉得还不错? 一键收藏
0
评论
揭秘：6个能够击败任何爬虫的绝密 ‘反爬虫‘ 措施！

掌握爬虫技术是许多开发者学习的重要一步。而在实践过程中，经常会遇到各种各样的反爬措施。那么，当你遭遇这些反爬虫措施时，应该如何应对呢？本文将为您梳理一些常见的反爬措施以及相应的解决方案，帮助您应对这些挑战。
复制链接

扫一扫