爬虫Python报403或data为空问题

最新推荐文章于 2024-08-19 17:05:17 发布

aGreySky

最新推荐文章于 2024-08-19 17:05:17 发布

阅读量2k

点赞数 1

分类专栏： Python 文章标签：爬虫 http 网络协议

本文链接：https://blog.csdn.net/aGreySky/article/details/123301939

版权

Python 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文详细介绍了如何在B站爬取数据时，正确使用cookie获取upstat信息，包括设置合适的User-Agent、Host和Cookie，以及遇到403错误的处理方法，提供了一个成功的请求示例和数据返回结果。

摘要由CSDN通过智能技术生成

在爬取B站数据时，部分API是需要cookie才能获取数据的，没有携带则结果可能是code:403或

{"code":0,"message":"0","ttl":1,"data":{}}

比如upstat，需要将标头中的cookie放在爬虫中。

headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
headers['Host'] = 'api.bilibili.com'
headers['Cookie'] = "xxxxxxxxxxxx"
response = requests.get(api_path, stream=True, headers=headers)

结果正常

{'code': 0, 'message': '0', 'ttl': 1, 'data': {'archive': {'view': 270657}, 'article': {'view': 0}, 'likes': 45846}}

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

aGreySky

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

python爬虫返回403错误？加了请求头+代理也解决不了＞＞看这

云霄IT的博客

02-15

9942

【疑惑】：使用python的requests库发起get或post请求返回403代码错误，使用postman发起请求发现状态码竟然成功了。首先排除ip问题，ip有问题的话postman也访问不了。难道是headers出现了问题吗，通过对比发现也不是headers的问题。【解疑】：其实遇到这种情况大概率是遇到了“原生模拟浏览器 TLS/JA3 指纹的验证”，浏览器和postman都有自带指纹验证，而唯独requests库没有。这就让反爬有了区分人为和爬虫的突破口。2、使用 pyhttpx 库。

Python爬虫requests返回值为空的解决方案

最新发布

Qj60776671的博客

08-19

950

1.更换网络的IP地址 2.浏览器复用...

python 爬虫使用requests模拟请求后台，返回为空问题

qq_43036532的博客

01-14

5560

个人在爬虫时遇到的问题，在此记录一下看看请求时携带 cookie 了没具体cookie，根据具体网页分析 import requests cookies = {...} headers = {...} resp = requests.get(url=url, headers=headers, cookies=cookies) 有可能时请求头里携带了某些字段 # 有些网站需要携带特...

Python解析数据空显示

老王玩编程

10-03

2141

描述:问世间bug为何物，直教人欲罢不能。来了来了，今天所描述的是Python爬取网站源码Xpath解析数据时候遇到的一个奇奇怪怪的bug。简单来说就是在浏览器中的Xpath路径显示需要抓取的数据了但是拿到代码中 tree.xpath(解析)的时候输出数据一直是空就很大无语。。。。。。

Python哔哩哔哩爬虫报错403

qq_18362401的博客

11-16

3652

本文章参考于steff720的“Python爬虫如何搞定反扒的403”，在此表示感谢。学校最近给了个爬虫作业，作业要求用Python的写，按照了部分文章写了个乙站的爬虫。但访问网站获取视频时间的时候页面老是报403（权限错误）。下面是出问题的部分代码： import requests response2 = requests.get(apiurl,apiheaders) res2 ...

解决爬虫中为某些项为空的情况

带鱼工作室的博客

05-20

1万+

在我们平常爬取某个网站时，假设此网站内容排列整齐，例如这个论文网站。我们可以看到，这个网站论文排列整齐。那么我们想要获得每个论文的标题，作者，摘要，pmid，doi这5项，如下图所示那么对于第6篇论文，在它的里面摘要不存在，因此我们写的对于取这5项信息的爬虫代码会出现问题，下面附上问题代码及错误截图：问题代码：from bs4 import BeautifulSoupimport requests...

python爬虫拿到登录 form data 的技巧

10-21

爬虫获取表单数据的技巧，拿到 form data的技巧爬虫获取表单数据的技巧，拿到 form data的技巧

web-spider-data-analysis.rar_Python爬虫入门_data analysis_data analy

09-14

标题中的"web-spider-data-analysis.rar"表明这是一个关于网络爬虫和数据分析的压缩文件，而“Python爬虫入门_data analysis_data analy”进一步说明了主要内容包括Python语言的爬虫技术和数据处理分析。标签...

天气后报网爬虫及数据分析（python）

12-26

（1）将获取的数据信息存储到“data.csv”文件中，每行数据格式为“日期，最高温，最低温，天气，风向”；（2）在data.csv文件中增加“平均温度”一列，其中：平均温度=（最高温+最低温）/2；（3）统计并输出...

爬虫出现空列表或者长度为0是怎么回事？

何必说

07-20

2万+

今天来总结一下在爬虫遇到的特殊情况，利用正则或者xpath来匹配提取数据，偶尔会发现可以找到这个对象，却无法提取它的下一阶层的数据，这是怎么一回事？自己分析结果有以下几种：（1）自己的匹配写错了，怎么可能，我再三检查，对的不能再对了，排除这种情况，毕竟是本宝宝写的，谁还没有点小自信了。（2）可能是User-Agent浏览器版本不兼容，遇到这种情况要注意了，先检查一下自己爬取的数据，看...

bilibili爬虫

weixin_41074255的博客

05-24

949

搜索页:关键词+指定分区一、背景需求二、需求分析三、整体流程四、总结一、背景需求 1、抓取内容：给定关键词，并指定分区，获取该分区下的所有视频，同时，该视频如果是一个合集中的子集视频，则抓取该合集的所有视频 2、抓取字段：作者、标题、分区、详情页链接、发布时间、封面图、下载链接、标签、播放量、点赞量、评论量、弹幕量、收藏量二、需求分析 1、app端分析抓包后发现，搜索页的接口没有进行加密，将...

一篇文章读懂爬虫中Request 中data的问题

weixin_43191153的博客

11-05

2086

首先要知道网络中传的数据没有汉字也就是bytes类型的东东 data = { ‘‘first’:‘true’, ‘pn’:1, ‘kd’:‘python’’ } url = ‘https://www.lagou.com’ 所以要调用urllib.request.Request(url,data=data)的时候是错的首先那么data 是字典类型的东东无法直接转换为bytes的的...

爬虫中json.dumps或json.loads遇到params或data包含null的处理方法

lizz2276的博客

05-08

686

>> json.loads('{"a": null}') ## 用于resp = request.get() json.loads(resp.text)>>> json.dumps({'a':None}) ## 用于post(url,data= json.dumps({'a':None}))

Python自动测试打开chrome时，chrome地址栏总是出现data:;

M_Eve的博客

07-28

1万+

在刚开始使用Python编写自动化测试代码的时候，会用代码打开chrome，firefox和IE浏览器来进行调试，但是，我发现可以打开IE却不能打开Chrome，每次打开的chrome的时候总是在地址栏出现“data:;”，却并不能打开链接地址，尝试了很多种方法，却没有想到，竟然是自己的chrome和下载的chromedriver的版本不匹配。重新下载了匹配的chromedriver之后，果真就可

教你用Python爬取哔哩哔哩全站视频信息

Python_sn的博客

10-08

2012

哔哩哔哩全站视频信息爬虫(可能会漏爬) B 站感觉最近几年发展得太快了,不由得想知道有多少视频,翻阅了一大半网络找了很多爬虫感觉都不是特别的复合自己的胃口(挑食~),于是自己写一个(才学习爬虫没多久写得垃圾代码大佬别喷我啊….) 很多人学习python，不知道从何学起。很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。很多已经做案例的人，却不知道如何去学习更加高深的知识。那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤ QQ群

B站接口获取图片资源出现403的解决方案

qq_38958284的博客

11-24

4491

B站公共接口： https://www.bilibili.com/index/ding.json 问题原因 B站的服务器做了资源权限限制，目的是为了节省资源，防止爬虫等去获取数据。参考图：获取上面的接口后，在引用值时，对应的图片资源提示403错误，下图为出现403的错误信息图片：可以看到Referer处为http://localhost:8080 HTTP Referer是header的一部分，当浏览器向web服务器发送请求的时候，一般会带上Referer，告诉服务器该网页是从..

python爬取b站403_python3爬虫-爬取B站排行榜信息

weixin_39958559的博客

11-21

126

importrequests, re, time, oscategory_dic={"all": "全站榜","origin": "原创榜","rookie": "新人榜",}day_dic= {1: "日排行榜", 3: "三日排行榜", 7: "周排行榜", 30: "月排行榜"}all_or_origin_dic={0:"全站",1: "动画",168: "国创相关",3: "音乐",129...

python爬取b站403_使用Python爬取B站全站视频信息

weixin_35784370的博客

02-04

1922

B站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为760万条。准备工作首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。勾选 JS 选项，F5 刷新找到了 api 的地址复制下来，去...

python爬虫中data

03-19

在Python爬虫中，data通常用于存储从网页中获取的数据。根据提供的引用内容，可以看出在爬取豆瓣电影Top250网页时，使用了一个名为datalist的列表来存储爬取到的数据[^1]。具体的代码实现可能如下所示： ```python ...