Python Web 爬虫中Selenium插件使用教程

Selenium主要用于Web应用中的自动化测试，是一种比较常用的自动化测试工具；

Selenium直接运行在浏览器之中，模拟用户对浏览器的相应操作。可以支持像IE， Firefox、safari，Opera或者Chrome等相关浏览器；

在WEB爬虫应用中，我们主要通过Selenium来模拟用户对网页的访问，进而实现用户信息获取。

 

我们以Chrome为例子：

1：Selenium安装和ChromeDriver的配置

1）Selenium安装，依赖pip安装工具， 主要通过

pip install Selenium 命令实现Selenium 的python依赖模块安装

2）chromeDriver主要根据不同的OS和当前OS上安装的不同的Chrome版本进行对应；

ChromeDriver对应下载地址： http://npm.taobao.org/mirrors/chromedriver/

根据自身的OS和Chrome 浏览器的版本下载对应的Driver即可；

3）配置， 将下载的chromeDrive解压， 将解压出来的文件，例如chromedriver.exe 放在对应的路径，让python程序获取得到即可。

 

2： Selenium插件的简单使用过程

1）浏览器见面可见运行方式

from selenium import werdriver

driver = webdriver.Chrome() 
driver.get('https://www.baidu.com')    #访问百度页面
driver.quit()

2）chrome无界面运行方式

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_opt = Options()   # chromedriver 运行参数设置
chrome_opt.add_argument('--headless')   # 无界面化.
chrome_opt.add_argument('--disable-gpu')    # 配合上面的无界面化.
chrome_opt.add_argument('--window-size=1366,768')

driver = webdriver.Chrome(chrome_options=chrome_opt)
driver.get('https://www.baidu.com') 
print(driver.page_source)
driver.quit()

Selenium常用启动配置项

更为详细的参数参见：