Python 爬虫，Selenium控制操作浏览器，PhantomJS无界面浏览器

安装 Selenium 模块： pip3 install selenium

Selenium 可以控制操作浏览器，往input标签中输入内容，点击操作等。

PhantomJS 是一个无界面浏览器(可以进行截屏)，可以执行JS脚本渲染页面。需要在电脑上安装。

Selenium应用场景：动态html页面请求(页面元素动态加载，懒加载等)；登录获取cookies。（requests模块发送的请求返回的只是响应内容，并不会执行JS渲染页面。Selenium发送请求和提取数据的效率比较低，所有一般需要配合requests和lxml模块使用）

 

demo.py（Selenium控制操作浏览器，截屏，cookie）：

# coding=utf-8
from selenium import webdriver   # 需要pip安装
import time


# 实例化一个浏览器
driver = webdriver.Chrome()   # 需要安装对应的浏览器的driver
# driver = webdriver.PhantomJS()  # PhantomJS是一个无界面的浏览器(可以执行JS代码)。 需要安装

# 设置窗口大小
# driver.set_window_size(1920,1080)

# 最大化窗口
driver.maximize_window()

# 发送请求
driver.get("http://www.baidu.com")

# 进行页面截屏
driver.save_screenshot("./baidu.png"