有一定基础的都知道,想要爬取某个网页的数据,按住F12会弹出一个窗口。
如图所示:
点击图中的的NetWork后,点击网页上的内容,即可看到NetWork中的数据不断改变,这是因为正在加载你的点击事件所需的数据。静态数据可以通过jsoup爬取(不明白的可以看)。
而对于动态数据(如下所示):
随着点击所有英雄、战士、法师等,jSearchHeroDiv中的li列表是不断变化的,那么我们如何获取这些动态数据呢?
打开Sources(Network旁边)我们会发现其中会有一些js包,没错,这些js包就是我们需要的(重新刷新该网页,不然有时无法获取到动态数据的js包),如下:</