selenium与谷歌无头浏览器的应用

1.selenium的介绍

• selenium是一个web自动化测试用的框架. 程序员可以通过代码实现对浏览器的控制, 比如打开网页, 点击网页中的元素, 实现鼠标滚动等操作.
• 它支持多款浏览器, 如谷歌浏览器, 火狐浏览器等等, 当然也支持无头浏览器.

使用selenium的目的

• 在爬取数据的过程中, 经常遇到动态数据加载, 一般动态数据加载有两种, 一种通过ajax请求加载数据, 另一种通过js代码加载动态数据.
• selenium可以模拟人操作真实浏览器, 获取加载完成的页面数据
• ajax:
  url有规律且未加密, 直接构建url连接请求
  url加密过无法破解规律 --> selenium
• js动态数据加载 --> selenium

2.selenium的安装

安装三要素: 浏览器、驱动程序、selenium框架

浏览器: 推荐谷歌浏览器, 标准稳定版本

推荐谷歌的理由是因为谷歌好用, 并且大多数程序员都在用

驱动程序: 下载地址

驱动程序的下载版本需要和谷歌的版本一致, 前三位一致即可(例:76.0.3809)

框架: 自己搭建即可

以上完成后直接在控制台输入: pip install selenium

3.selenium常用操作

常用操作有很多种, 比如: 获取页面元素、输入内容、点击、退出… ↓

3.1 测试一下你的selenium

# 从selenium中导入驱动程序
from selenium import webdriver
# 实例化浏览器对象
browser = webdriver.Chrome('driverpath')
# 发送get请求:
browser