目录:导读
前言
使用selenium启动浏览器
可以在python中使用下面的代码启动一个Chrome浏览器,然后控制这个浏览器的行为或者读取数据。
from selenium import webdriver
# 启动Chrome浏览器,要求chromedriver驱动程序已经配置到环境变量
# 将驱动程序和当前脚本放在同一个文件夹也可以
driver = webdriver.Chrome()
# 手动指定驱动程序路径
driver = webdriver.Chrome(r'D:/python/tools/chromedriver.exe')
driver = webdriver.Ie() # Internet Explorer浏览器
driver = webdriver.Edge() # Edge浏览器
driver = webdriver.Opera() # Opera浏览器
driver = webdriver.PhantomJS() # PhantomJS
driver.get('http://xxxxxx.com') # 打开指定路径的页面
启动的时候还可以设置启动参数,比如下面的代码实现启动时添加代理,并且忽略https证书校验。
from selenium import webdriver
# 创建chrome启动选项对象
options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=127.0.0.1:16666") # 设置代理
options.add_argument("---ignore-certificate-errors") # 设置忽略https证书校验
options.add_experimental_option("excludeSwitches", ["enable-logging"]) # 启用日志
# 设置浏览器下载文件时保存的默认路径
prefs = {
"download.default_directory": get_download_dir()}
options.add_experimental_option("prefs", prefs)
driver = webdriver.Chrome(options=options)
一些非常有用的启动选项,下面使用的options = webdriver.ChromeOptions():
options.add_argument("--proxy-server=127.0.0.1:16666") #设置代理,可以结合mitmproxy进行抓包等
option.add_experimental_option('excludeSwitches', ['enable-automation']) #设置绕过selenium检测
options.add_argument("---ignore-certificate-errors") #设置忽略https证书校验
options.add_experimental_option("prefs", {
"profile.managed_default_content_settings.images": 2}) #设置不请求图片模式加快页面加载速度
chrome_options.add_argument('--headless') #设置无头浏览器
selenium页面加载等待和检测
使用selenium打开页面以后,还不能立刻操作,需要等到待处理页面元素加载完成,这时就需要检测和等待页面元素加载。
使用time.sleep()等待:
最简单的方法就是打开页面以后,使用time.sleep()强制等待一定时间,该方法只能设置一个固定时间等待,如果页面提前加载完成,则会空等阻塞。
from time import sleep
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('www://baidu.com')
time.sleep(10)
print('load finish')
使用implicitly_wait设置最长等待时间:
另外还可以使用implicitly_wait设置最长等待时间,如果在给定时间内页面加载完成或者已经超时,才会执行下一步。
该方法会等到所有资源全部加载完成,也就是浏览器标签栏的loading图表不再转才会执行下一步。有可能页面元素已经加载完成,但是js或者图片等资源还未加载完成,此时还需要等待。
另需注意使用implicitly_wait只需设置一次,且对整个driver生命周期都起作用,凡是遇到页面正在加载都会阻塞。
from selenium import webdriver
driver = webdriver.Chrome()
driver.implicitly_wait(30) # 设置最长等30秒
driver.get('http://baidu.com')
print(driver.<