续:如何使用Python爬虫获取offcn上的公考信息及写入Excel表格并发送至指定邮箱
紧接着 上一篇文章,本人对代码进行了一定的改良以及对上次没讲清楚的部分也会在这篇文章里进行解释。主要改良点为:让改代码支持翻页,在程序运行完成以后能自动打开Excel表格让用户进行查看。下一篇文章将会解释:对爬虫以及反爬虫机制进行简要介绍以及如何在Linux服务器上部署该代码。
目录
修改后的代码块
from selenium import webdriver
import xlwt
import os #修改点
chrome_driver = r'C:\Users\算师妙\AppData\Local\Programs\Python\Python36\chromedriver.exe'
chrome_options = webdriver.ChromeOptions()
# 使用headless无界面浏览器模式
chrome_options.add_argument('--headless') # 增加无界面选项
chrome_options.add_argument('--disable-gpu') # 如果不加这个选项,有时定位会出现问题
browser = webdriver.Chrome(executable_path=chrome_driver)
browser.implicitly_wait(10) # 隐性等待,如等待时间过长,请使用显性等待
browser.maximize_window()
lists1 = []
lists2 = []
lists3 = []
lists4 = []
for w in range(1, 5): #修改点
formation1 = 'http://www.offcn.com/sydw/kaoshi/zj/' #修改点
formation2 = '.html' #修改点
browser.get(formation1 + str(w) + formation2) #修改点
for i in range(58