Python爬虫之查找自己浏览器headers

Python爬虫查找自己浏览器headers
每个浏览器都有自己的headers,因为headers要模仿你自己的浏览器向网页发送信息。如果使用Python进行爬取页面时,使用了别人的headers可能会导致爬取不到任何数据(因为代码在你自己的电脑运行,所以无法模拟别人的浏览器)。
比如,在进行学习时,或多或少都会参考别人的代码,这时如果你将别人代码中的headers直接复制过来,就可能导致代码运行没有错误,但是就是爬取不到任何数据。
如何查找自己浏览器的headers。
以谷歌浏览器为例——随便打开一个网页,例如打开https://baike.baidu.com/item/乘风破浪的姐姐,右键点击‘检查’或者按F12,出现下图页面。
在这里插入图片描述
点击最上方选项卡中的‘Network’选项,再按F5,在‘name’框中会出现一个选项,点击该选项,在右侧点击‘headers’选项,在最下方找到‘User-Agent:’,粘贴到自己代码即可。如下图
在这里插入图片描述
将User-Agent:粘贴到自己代码headers中即可:

headers = { 
        'User-Agent': 'ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
    }
  • 11
    点赞
  • 38
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值