scrapy爬虫框架没有js渲染服务,所以我们采集不到数据,这时候我们就需要一个渲染引擎来为我们提供渲染服(Splash渲染引擎)
Splash渲染引擎:
Splash是一个Javascript渲染服务,Splash是为Scrapy爬虫框架提供渲染的
splash的作用:
1、返回渲染的html页面
2、支持渲染多个页面
3、渲染速度快
4、模拟浏览器加载js,并返回js运行后的数据
安装Splash:
1、安装scrapy-splash模块
2、安装docker
3、启动docker,拉取spash
Scrapy 中使用Splash渲染配置代理说明:
#! -*- encoding:utf-8 -*-
import base64
import sys
import random
PY3 = sys.version_info[0] >= 3
def base64ify(bytes_or_str):
if PY3 and isinstance(bytes_or_str, str):
inp