selenium python虚拟点击网页 爬虫翻页功能 href=javascript:void(0)怎么翻页

在爬虫翻页的时候，url是不变的，也就是说网站是通过javascript动态加载下一页的。
当我们打开source code，会发现翻页按钮的href不是一个url而是：javascript:void(0)
针对这种情况，我们可以用selenium进行虚拟点击

准备工作

1. 查看自己的chrome版本，在右上角三个点，Help - About Google Chrome
   

2. 安装和自己chrome版本相匹配的chrome driver 境内下载地址
   .
   

3. 不用纠结64还是32，都下32bit的，只有32bit。
   

4. 下载完zip后解压，将chromedriver.exe文件复制到Google/Chrome/Application目录下：
   具体目录：C:\Program Files (x86)\Google\Chrome\Application

5. 也复制到Python或者Anaconda3目录下。C:\Users\User_Name\Anaconda3

6. 下载安装selenium：pip install selenium

Python中使用selenium

完整代码：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.