爬虫百度返回“百度安全验证”终极解决方案

最新推荐文章于 2024-04-19 11:11:47 发布

程序员小强_

最新推荐文章于 2024-04-19 11:11:47 发布

阅读量1.8k

点赞数 18

文章标签：爬虫百度安全

本文链接：https://blog.csdn.net/dzqxwzoe/article/details/136578035

版权

这篇文章也可以在[我的博客](https://www.karsonjo.com/web-crawler-bypassing-baidu-

security-verification/)查看

爬不了啊！！

最近一哥们跟我说百度爬虫爬不了
弹出：“百度安全验证”，“网络不给力，请稍后重试”

说到爬虫，这里指的是Python中最常用的requests库

我说怎么爬不了了？

user-agent加了吗？
cookie加了吗？

他说都加了

我不信邪，试了一下，超，真的返回百度安全认证：

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="utf-8">
    <title>百度安全验证</title>
    <!-- 省略一堆meta -->
</head>
<body>
    <div class="timeout hide-callback">
        <div class="timeout-img"></div>
        <div class="timeout-title">网络不给力，请稍后重试</div>
        <button type="button" class="timeout-button">返回首页</button>
    </div>
    <div class="timeout-feedback hide-callback">
        <div class="timeout-feedback-icon"></div>
        <p class="timeout-feedback-title">问题反馈</p>
    </div>

<script src="https://ppui-static-wap.cdn.bcebos.com/static/touch/js/mkdjump_v2_21d1ae1.js"></script>
</body>
</html>

网络有说加Accept header的，我试了，也不行。
我的代码是这样的：

import requests

headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36',
'Accept-Encoding': 'gzip, deflate, br',
'Cookie': '[yummy cookies ^_^]',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7'
}
response = requests.get('https://baidu.com/s', headers=headers)
response.encoding = 'utf-8'
print(response.text)

我纳闷了，怎么回事呢？
考虑到爬虫其实也是访问网站的过程
此时应该使用[fiddler](https://www.telerik.com/fiddler/fiddler-
classic)的Composer对需要爬取的报文进行调试
通过不断地增加、减少header项，最终得出必要的headers

到最后，发现请求百度所必须的数据其实只有：

以下是Fiddler Composer的raw输入

GET https://xueshu.baidu.com/s?wd=%E5%9B%BE%E5%83%8F%E9%87%8D%E5%BB%BA%E3%80%81%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0 HTTP/1.1
Host: xueshu.baidu.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36
Accept-Encoding: gzip, deflate, br
Cookie: [yummy cookies ^_^]

也就是：

User-Agent
Cookie
Accept-Encoding

但是……我之前的代码已经包含这些了啊？还赠送了一个Accept呢？

分析真正问题

这是我突然意识到一个事儿……

说到底，Fiddler不也是机器人吗？
为啥Fiddler能发出去，但Python的requests发不出去啊
难道是requests被抓到小鸡脚了吗？

一波考虑之后感觉有可能
Fiddler虽然也是机器人，但它作为一个流量转发工具，它很完善，行为更像浏览器
而requests相反，它本来就不是用作浏览器访问，而是以最轻便方式执行http请求

其中可能某些浏览器应有的行为，被requests阉割掉了，然后被百度识别出来了

爆破

好吧，但不管怎样，你百度还是需要提供服务的
requests虽然因为不是浏览器被你识别出来了，那我用浏览器访问你，你又该如何应对？

因此祭出爬虫的宇宙终极答案：无头浏览器

Selenium

Selenium是一个用于自动化浏览器操作的工具，常用于测试网页应用程序和执行Web任务
它提供了多种编程语言的客户端库，如Python、Java、C#等，用于控制浏览器的行为
通过编写代码，可以模拟用户在浏览器中的操作，比如点击链接、填写表单、提交数据等

OK很好，我们就用Selenium进行爬虫

安装环境

Selenium

我们需要下载python的Selenium库，执行：

pip install -U selenium

浏览器

你需要一个真的浏览器以进行网上冲浪，希望你有一个_

Linux shell玩家也可以安装浏览器
不过就不在此展开了

浏览器驱动

需要安装与你浏览器对应的浏览器驱动（Browse Driver）以供Selenium调用
这里也不详细展开，但大致分两种做法：

手动安装

注意下的是 Driver ，别下成浏览器本身了

无非就是到官网下，比如：

自动安装

可以使用webdriver-manager
Python库实现自动化安装管理

pip install webdriver-manager

调用就自动安装，比如Chrome：

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())

爬就爬，我最会爬了

那就给大伙用Selenium爬一个

编写以下代码，唯一需要注意的就是Driver的路径需要更改（我放到项目根目录了，所以直接写文件名）：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 我们并不需要浏览器弹出
options = Options()
options.headless = True

# 启动浏览器的无头模式，访问
# ========================================
# 注意：这是Selenium 4.10.0以下写法，高版本见下面
# ========================================
driver = webdriver.Chrome('chromedriver.exe', options=options)
driver.get("https://xueshu.baidu.com/s?wd=图像重建、深度学习")

# 获取页面的源代码
page_source = driver.page_source
# 输出页面源代码
print(page_source)

driver.quit()

❗在Selenium 4.10.0及以上版本，上面的代码会报错：

TypeError: WebDriver.__init__() got multiple values for argument 'options'

原因是webdriver的函数签名有改变，在高版本中，你需要显式指定service：

from selenium.webdriver.chrome.service import Service
s = Service('chromedriver.exe')
driver = webdriver.Chrome(service=s, options=options)

无头浏览器将会为你操办一切，直接访问到页面
不仅不需要cookie（在非登录的情况下），甚至连header都不需要

问题

你可能会感觉得到，这东西运行起来比requests慢
我只能说确实，因为它是真浏览器

但是……你真的需要快吗？

爬虫太快也是会被封IP的
如果你配置了IP池、多线程一系列框架，还需要在乎这点速度差距吗？

慢还有一个好处，它更像人工行为了，它能难被检测出了，嘻嘻

那今天的爬虫就到这了，该睡觉了

最后

从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。

因为入门学习阶段知识点比较杂，所以我讲得比较笼统，大家如果有不懂的地方可以找我咨询，我保证知无不言言无不尽，需要相关资料也可以找我要，我的网盘里一大堆资料都在吃灰呢。

干货主要有：

①1000+CTF历届题库（主流和经典的应该都有了）

②CTF技术文档（最全中文版）

③项目源码（四五十个有趣且经典的练手项目及源码）

④ CTF大赛、web安全、渗透测试方面的视频（适合小白学习）

⑤ 网络安全学习路线图（告别不入流的学习）

⑥ CTF/渗透测试工具镜像文件大全

⑦ 2023密码学/隐身术/PWN技术手册大全

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

扫码领取

程序员小强_

关注

18
点赞
踩
26

收藏

觉得还不错? 一键收藏
0
评论
爬虫百度返回“百度安全验证”终极解决方案

从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。因为入门学习阶段知识点比较杂，所以我讲得比较笼统，大家如果有不懂的地方可以找我咨询，我保证知无不言言无不尽，需要相关资料也可以找我要，我的网盘里一大堆资料都在吃灰呢。干货主要有：①1000+CTF历届题库（主流和经典的应该都有了）②CTF技术文档（最全中文版）③项目源码（四五十个有趣且经典的练手项目及源码）
复制链接

扫一扫