Python爬虫之selenium库使用详解

什么是Selenium

selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。

selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。

selenium基本使用

用python写爬虫的时候，主要用的是selenium的Webdriver，我们可以通过下面的方式先看看Selenium.Webdriver支持哪些浏览器

1 2 3 4 5 6

python@pythontab.com:~/python35$ python Python 3.5.2 (default, Aug 24 2016, 16:48:29)  [GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-703.0.31)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>> from selenium import webdriver >>> help(webdriver)

执行结果如下，从结果中我们也可以看出基本支持了常见的所有浏览器：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

...... PACKAGE CONTENTS     android (package)     blackberry (package)     chrome (package)     common (package)     edge (package)     firefox (package)     ie (package)     opera (package)     phantomjs (package)     remote (package)     safari (package)     support (package)     webkitgtk (package) ......

这里要说一下比较重要的PhantomJS,PhantomJS是一个而基于WebKit的服务端JavaScript API,支持Web而不需要浏览器支持，其快速、原生支持各种Web标准：Dom处理，CSS选择器，JSON等等。PhantomJS可以用用于页面自动化、网络监测、网页截屏，以及无界面测试

声明浏览器对象

上面我们知道了selenium支持很多的浏览器，但是如果想要声明并调用浏览器则需要：

1 2 3

from selenium import webdriver browser = webdriver.Chrome() browser = webdriver.Firefox()

这里只写了两个例子，当然了其他的支持的浏览器都可以通过这种方式调用

访问页面

1 2 3 4 5

from selenium import webdriver browser = webdriver.Chrome() browser.get("http://www.pythontab.com") print(browser.page_source) browser.close()

上述代码运行后，会自动打开Chrome浏览器，并登陆百度打印百度首页的源代码，然后关闭浏览器

查找元素

单个元素查找

1 2 3 4 5 6 7 8 9 10

from selenium import webdriver browser = webdriver.Chrome() browser.get("http://bbs.pythontab.com") input_first = browser.find_element_by_id("q") input_second = browser.find_element_by_css_selector("#q") input_third = browser.find_element_by_xpath('//*[@id="q"]') print(input_first) print(input_second) print(input_third) browser.close()