但是,按照常规的爬取方法是不可行的,因为数据是分页的:
最关键的是,不管是第几页,浏览器地址栏都是不变的,所以每次爬虫只能爬取第一页数据。为了获取新数据的信息,点击F12,查看页面源代码,可以发现数据是使用JS动态加载的,而且没有地址,只有一个skipToPage(..)函数。
所以,解决方案是:
获得请求信息,包括header和 form data(表单信息)
模拟请求,获得数据
分析数据,获得结果
以下为实施步骤:
1.获取请求信息,如下图所示,控制台选择Network->XHR,此时,点击页面跳转按钮,控制台会出现发出的请求,然后选择发出请求的文件(第三步),然后选择Headers,下方显示的就是请求头文件信息。
2,使用Python 模拟请求,在Headers下找到 Request Headers 部分,这是请求的头数据。
然后找到Form Data
复制以上内容,形成如下代码
headers ={'Accept': 'text/html, */*; q=0.01','Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,ko;q=0.7','Connection': 'keep-alive','Content-Len