文章目录
Python之Selenium自动化爬虫
0.介绍
Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器(2018年开发者说暂停开发,chromedriver也可以实现同样的功能)),可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏。
1.安装
pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple
2.下载浏览器驱动
这里用的谷歌浏览器
http://npm.taobao.org/mirrors/chromedriver/
查看自己的浏览器版本下载对应的驱动。
把解压后的驱动放在自己的python.exe 目录下。
3.实例
我之前写过3个实例
https://harris.blog.csdn.net/article/details/116406200
4.开启无头模式
是否开启无头模式(即是否需要界面)
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
option = Options() #