B站异步加载的数据爬取

最新推荐文章于 2022-10-20 09:54:00 发布

Teenagers addicted to In

最新推荐文章于 2022-10-20 09:54:00 发布

阅读量546

点赞数

分类专栏： python爬虫文章标签： python excel

本文链接：https://blog.csdn.net/qq_44453173/article/details/106077357

版权

本文详细介绍了如何实现对B站异步加载数据的爬取，包括确定目标URL、判断页面是否异步加载、找到真实请求的URL、解析JSON数据以及将结果保存到Excel表格中。

摘要由CSDN通过智能技术生成

实现对B站异步加载的数据爬取

1.爬取目标的url

url=“https://www.bilibili.com/anime/index/#st=1&order=2&season_version=-1&area=-1&is_finish=-1&copyright=-1&season_status=-1&season_month=-1&year=-1&style_id=-1&sort=0&page=1”

2.是否是异步加载的，判断方式有很多，这里随便说1种。检查网页源码，查找想要的数据，看是否有，如果没有就是异步加载

在这里插入图片描述
这里没找到，可以判定时异步加载

3.找到真正的请求网页，通过在Network的Search里面搜索想要的数据，得到真正的url

在这里插入图片描述

4.解析Preview(也就是json)的数据

在这里插入图片描述
这里可以获取我们想要的数据

5.用xls表格保存数据

好，我们开始写代码

import xlwt
import requests


# 功能：实现B站番剧排名的爬取


def main():
    datalist = askUrl()
    saveData(datalist)     # 保存数据


def askUrl():
    url = "https://api.bilibili.com/pgc/season/index/result"
    headers = {
   
        "User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"
    }
    datalist = []
    for page in range(1

最低0.47元/天解锁文章

Teenagers addicted to In

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
B站异步加载的数据爬取

实现对B站异步加载的数据爬取1.爬取目标的urlurl=“https://www.bilibili.com/anime/index/#st=1&order=2&season_version=-1&area=-1&is_finish=-1&copyright=-1&season_status=-1&season_month=-1&year=-1&style_id=-1&sort=0&page=1”2.是否是异步加载的
复制链接

扫一扫