python爬取js中数据动态加载的数据_JS动态加载数据不会怎么爬取?老司机教你两个方法爬取想要的数据...

学习Python的人绝大部分都是在用Python做爬虫,毕竟对于爬虫而言Python是不二选。

但是一般简单的静态页面网站还是很好爬取的,对于很多动态加载的网站就不知道怎么办了,今天小编就给大家介绍两种爬取js加载的动态数据,希望对爬虫方面有所帮助!

今天咱们就以高考查询网站为例!

如何知道这个网站是动态加载的数据?

用浏览器,这里小编建议使用火狐或者谷歌这个想必大家都知道的

打开你网页,右键查看页面源代码,ctrl +F 查询输入293,源代码里面并没有这个值,说明是动态加载数据。

它的网址是: 数字代表的第几页。它一共是165页

所以想要获取全部的url地址就非常简单了

对于动态加载数据,我们常用的两个方法:使用selenium

分析网页元素,找出该数据的原始网页,提交表单,获取不同的数据,用来达到爬取的目的。

方法一selenium:

为什么要这么写,代码里面表明了注释!

小结:通过对数据的分析,写出上面的查找方法,即可获取所有数据。

通过这种方法获取数据,简单,也比较直观,缺点是太慢了。

方法二分

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值