新版本的selenium已经明确警告将不支持PhantomJS,建议使用headless的Chrome或FireFox。
两者使用方式非常类似,基本步骤为:
- 下载驱动
- 创建选项,设定headless
- 创建WebDriver,指定驱动位置和选项
- 对URL发起请求,获得结果,进行解析
Chrome
驱动的下载路径为:https://chromedriver.storage.googleapis.com/index.html
接下来创建选项并设定headless:
options = webdriver.ChromeOptions()
options.set_headless()
创建WebDriver,指定驱动位置和选项:
driver = webdriver.Chrome(
'D://chromedriver_win32//chromedriver', chrome_options=options)
发起请求,获得结果并进行解析:
driver.get('http://www.sohu.com/')
time.sleep(3)
print(driver.page_source)
driver.close()
Firefox
驱动的下载路径为:https://github.com/mozilla/geckodriver
启动的步骤与Chrome一致,只不过使用的选项对象和创建的WebDriver对象略有不同。直接上源代码:
options = webdriver.FirefoxOptions()
options.set_headless()
driver = webdriver.Firefox(
firefox_options=options,
executable_path='D:/geckodriver-win64/geckodriver')
driver.get('http://www.sohu.com/')
time.sleep(3)
print(driver.page_source)
driver.close()