3对于反扒机制设置请求头

砥砺前行的菜鸟程序员

已于 2022-07-09 10:18:13 修改

阅读量165

点赞数

分类专栏：学习爬虫文章标签： python

于 2022-07-08 12:19:01 首次发布

本文链接：https://blog.csdn.net/weixin_41576396/article/details/125675890

版权

学习爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

import requests
query=input('输入一个你喜欢的明星')
Headers= {
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:102.0) Gecko/20100101 Firefox/102.0'
 }
url = f'https://www.sogou.com/web?query={query}'
resp=requests.get(url,headers=Headers)

print(resp)

f=open("SuperIdol.html","w",encoding='utf-8')
f.write(resp.text)

如果直接get不到，说是程序操作需要验证码消息验证什么的，可以补充一个消息头headers，消息头的获取方式如下

User-Agent 找法：

开发者工具 →左侧选择network（网络）→右侧选择消息头

遗留问题：同样的代码，搜狗可以得到结果，但是搜狐得到的永远是“正在加载中”，不晓得为什么，希望后续可以解决这个问题