Scrapy:b站爬虫之抓包过程

Scrapy:b站爬虫之抓包过程

一、内容说明

一共爬取八个数据，可分为四项：

1、标题（直接xpath，不用抓包）

2、点赞、投币、收藏

3、在线观看人数

4、弹幕内容、时间、发送时间

二、抓包过程

1、点赞，投币，收藏

1、获取信息源：
用xpath试过之后，发现无法获取，推测是api内容
2、尝试获取api接口：
F12，netwoek下ctrl+f搜索转发的数量（上热门的一般就转发量比较少）
3、进一步验证：
打开该api接口网址
获得数据：{“code”:0,“message”:“0”,“ttl”:1,“data”:{“aid”:89348202,“bvid”:"",“view”:1404996,“danmaku”:9684,“reply”:10236,“favorite”:39