本文介绍了如何使用Python的selenium库来模拟浏览器翻页，针对URL不变但通过JS进行页面跳转的情况，爬取同一URL下的多页内容。以爬取中国高校之窗北京市所有学校列表为例，展示了利用selenium自动打开浏览器，输入URL，点击下一页并循环抓取的过程。
页面翻页，下一页可能是一个新的url
也有可能是用js进行页面跳转，url不变，解决方法是实现浏览器模拟人工翻页
目标：爬取同一个url下不同页的数据（上述第二种情况）
url:http://www.gx211.com/collegemanage/search.aspx?id=1&xxcity=1
中国高校之窗，我要爬取北京市所有的学校列表，共有四页数据，四页都是同一个url。
部分页面如图：
找到“下一页”按钮的源码，确认是用js进行的跳转。
工具：
- selenium
- pyquery
- 火狐浏览器
代码ÿ
最低0.47元/天 解锁文章
扫一扫
1619
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
