selenium 最初是一个用于自动化调试网页的工具,但是后来人们发现,这东西可以用来做爬虫,抓取需要 js 脚本的网页。selenium 必须和浏览器配合使用,我喜欢 Firefox,所以这里我以 Firefox 作为例子,其他浏览器操作类似。
准备材料
首先当然要安装 selenium,用 pip install selenium 即可。
在下面的链接里,下载绿色版 Firefox(Windows 下用绿色版比较方便,Linux 随意)和 geckodriver,把它们扔到你喜欢的目录下。
https://portableapps.com/apps/internet/firefox_portable
https://github.com/mozilla/geckodriver/releases
正式开始
为了演示直观,可以用 IDLE 执行以下代码。
from selenium import webdriver
# 下面的路径改成你的路径
driverPath = r'C:\Users\xxx\Desktop\FirefoxPortable\geckodriver.exe'
firefoxPath = r'C:\Users\xxx\Desktop\FirefoxPortable\App\Firefox\firefox.exe'
option = webdriver.FirefoxOptions()
option.binary_location = firefoxPath
w = webdriver.Firefox(executable_path=driverPath, options=option)
w.get('https://www.baidu.com/')
如果不出意外,应该会弹出一个浏览器窗口,里面已经是百度了。地址栏应该跟下图差不多,表示浏览器正在被控制。
接下来我们来操作浏览器。
w.find_element_by_id('kw').send_keys('selenium')
w.find_element_by_id('su').click()
执行完之后,应该会看到我们用百度搜索了关键词“selenium”。selenium 有很多 find_element_by_<...> 的方法,可以定位元素,返回一个元素对象,然后我们就可以进行操作。这里,我推荐使用 find_element_by_css_selector,它通过一个 CSS 选择器来定位元素,学过 CSS 的人可以轻松使用。
可以通过 title 和 page_source 属性获取页面标题和 HTML 源码。要关闭浏览器,使用 close 方法即可。
a, b = w.title, w.page_source
print(a)
w.close()
这里有一个问题,我们做爬虫的时候,并不需要浏览器窗口。好在大多数浏览器都支持无头模式(Headless Mode),我们只需要在开头加上这一行就可以:
option.add_argument('--headless')
option.add_argument('--disable-gpu')
这样浏览器就会在后台运行。
文档
更多信息,可以访问 selenium 的官方文档学习:https://selenium-python.readthedocs.io/