爬取网页动态数据

本文介绍了如何爬取网页动态数据。通过分析Network面板跟踪请求,定位到包含动态数据的js文件,借助编码转换和查看工具解析JSON数据,从而获取所需信息。重点关注动态加载的内容和相关js包。
摘要由CSDN通过智能技术生成

有一定基础的都知道,想要爬取某个网页的数据,按住F12会弹出一个窗口。

如图所示:


点击图中的的NetWork后,点击网页上的内容,即可看到NetWork中的数据不断改变,这是因为正在加载你的点击事件所需的数据。静态数据可以通过jsoup爬取(不明白的可以看)。

而对于动态数据(如下所示):



随着点击所有英雄、战士、法师等,jSearchHeroDiv中的li列表是不断变化的,那么我们如何获取这些动态数据呢?

打开Sources(Network旁边)我们会发现其中会有一些js包,没错,这些js包就是我们需要的(重新刷新该网页,不然有时无法获取到动态数据的js包),如下:</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值