安装 Selenium 模块: pip3 install selenium
Selenium 可以控制操作浏览器,往input标签中输入内容,点击操作等。
PhantomJS 是一个无界面浏览器(可以进行截屏),可以执行JS脚本渲染页面。需要在电脑上安装。
Selenium应用场景:动态html页面请求(页面元素动态加载,懒加载等);登录获取cookies。(requests模块发送的请求返回的只是响应内容,并不会执行JS渲染页面。Selenium发送请求和提取数据的效率比较低,所有一般需要配合requests和lxml模块使用)
demo.py(Selenium控制操作浏览器,截屏,cookie):
# coding=utf-8
from selenium import webdriver # 需要pip安装
import time
# 实例化一个浏览器
driver = webdriver.Chrome() # 需要安装对应的浏览器的driver
# driver = webdriver.PhantomJS() # PhantomJS是一个无界面的浏览器(可以执行JS代码)。 需要安装
# 设置窗口大小
# driver.set_window_size(1920,1080)
# 最大化窗口
driver.maximize_window()
# 发送请求
driver.get("http://www.baidu.com")
# 进行页面截屏
driver.save_screenshot("./baidu.png"