selenium python虚拟点击网页爬虫翻页功能 href=javascript:void(0)怎么翻页

最新推荐文章于 2022-05-18 22:41:46 发布

wendyw1999

最新推荐文章于 2022-05-18 22:41:46 发布

阅读量1w

点赞数 7

分类专栏：爬虫文章标签： python selenium

本文链接：https://blog.csdn.net/wendyw1999/article/details/107414953

版权

当网页的翻页链接为javascript:void(0)时，常规爬虫无法直接翻页。本文介绍了如何利用Python的Selenium库进行模拟点击，以实现动态加载页面的翻页。首先，获取与翻页按钮相关联的元素，然后通过innerHTML找到要点击的元素，最后执行点击操作以进入下一页。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在爬虫翻页的时候，url是不变的，也就是说网站是通过javascript动态加载下一页的。
当我们打开source code，会发现翻页按钮的href不是一个url而是：javascript:void(0)
针对这种情况，我们可以用selenium进行虚拟点击

准备工作

查看自己的chrome版本，在右上角三个点，Help - About Google Chrome
安装和自己chrome版本相匹配的chrome driver 境内下载地址
.
不用纠结64还是32，都下32bit的，只有32bit。
下载完zip后解压，将chromedriver.exe文件复制到Google/Chrome/Application目录下：
具体目录：C:\Program Files (x86)\Google\Chrome\Application
也复制到Python或者Anaconda3目录下。C:\Users\User_Name\Anaconda3
下载安装selenium：pip install selenium

Python中使用selenium

完整代码：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.