python爬虫基础(11:动态网页之使用selenium)

当Ajax请求的数据加密或非Ajax动态网页时,selenium成为有效工具。它模拟浏览器行为,实现所见即所得的网页源码获取。本文通过豆瓣电影排行榜案例,对比requests模块与selenium在获取动态数据上的差异,展示selenium如何模拟下拉刷新获取完整电影信息。
摘要由CSDN通过智能技术生成

为什么要用selenium?

前面我们介绍了通过分析 Ajax 请求获取数据,但有时 Ajax 请求的数据被加密了,还有并不是所有的动态网页都是使用 Ajax 的,当我们没有招应付动态页面的时候,就要请出大杀器——selenium, selenium不用去考虑 js 是怎样生成新数据的,而真正实现多见即所得:通过模拟下拉刷新后,js 就自动生成了新的网页源码,在浏览器中看到的页面是什么样,得到的源码就是什么样

之前做滑块验证https://blog.csdn.net/Jeeson_Z/article/details/82047685)的之后就用过它,这里依旧直接粘贴用法

selenium介绍:https://cuiqingcai.com/5630.html

记住:selenium虽然很好使,但效率很低,所以我们能不用则不用

案例依然选用上篇的 豆瓣电影剧情片排行榜

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值