python爬取百度使用kw关键字爬取时出现，百度安全验证，解决方法

最新推荐文章于 2024-08-16 14:43:42 发布

焦志坤

最新推荐文章于 2024-08-16 14:43:42 发布

阅读量1.7w

点赞数 13

分类专栏：爬虫

本文链接：https://blog.csdn.net/cute_boy_/article/details/106125023

版权

爬虫专栏收录该内容

16 篇文章 2 订阅

订阅专栏

python爬取百度使用kw关键字爬取时出现，百度安全验证，解决方法

之前爬取百度用kw时的代码（没有任何问题）

import requests

url = 'http://www.baidu.com/s'

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36",
}

params = {
    'kw':'周冬雨'
}

resp = requests.get(url,headers=headers,params=params).content.decode()
print(resp)

但是结果出现了这种情况
在这里插入图片描述

解决办法（在请求头中添加accept即可）

import requests

url = 'http://www.baidu.com/s'

headers = {
    "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.16 Safari/537.36",
}

params = {
    'kw':'周冬雨'
}

resp = requests.get(url,headers=headers,params=params).content.decode()
print(resp)