python+selenium+webdriver

最近需要实现一个爬虫来获取网页数据，现对内容进行梳理。

大概思路：使用selenium+webdriver可以模仿人工打开浏览器，之后获取浏览器的html代码，再对html代码进行解析便可获得所需数据

一、下载所需安装包
所需安装包如下
1）webdriver(下载地址)
2）chrome浏览器下载地址

webdriver和chrome浏览器的版本必须对应！！

二、少量打开关闭浏览器的情况

from selenium import webdriver

# 存放下载的hromedriver的路径
chrome_driver = 'xx/chromedriver.exe' 

# 生成浏览器对象
driver = webdriver.Chrome(executable_path = chrome_driver)

# 需要访问的页面链接
url = 'https://www.baidu.com/'

# 访问页面链接
driver.get(url)

# 获取页面源代码
source_code = driver.page_source

# 关闭标签页
driver.close()

# 退出浏览器
driver.quit()

三、大量打开关闭浏览器的情况
大量打开关闭浏览器时如果只是使用driver.quit()会增加关闭的延时导致浏览器不被关闭，为避免上述情况，可使用ChromeDriverService来控制chrome进程的打开和关闭

from selenium import webdriver
from selenium.webdriver.chrome.service import Service

# 存放下载的hromedriver的路径
chrome_driver = 'xx/chromedriver.exe' 

# 生成service对象
c_service = Service(chrome_driver)
c_service.command_line_args()
c_service.start()

# 生成浏览器对象
driver = webdriver.Chrome(executable_path = chrome_driver)

# 需要访问的页面链接
url = 'https://www.baidu.com/'

# 访问页面链接
driver.get(url)

# 获取页面源代码
source_code = driver.page_source

# 关闭标签页
driver.close()

# 退出浏览器
driver.quit()

# 关闭浏览器进程
c_service.stop()

备注：启动和关闭浏览器比较耗时，有时效性要求时可以启动一个浏览器，连续打开多个标签页以后再关闭浏览器。
参考：Selenium执行完毕未关闭chromedriver/geckodriver进程的解决办法

需要使用代理IP时参考selenium加代理用法
针对页面加载时间长的问题可参考selenium学习笔记——driver.get(url) 页面加载时间太长