scrapy利用scrapy-splash爬取JS动态生成的标签

1 引言

scrapy处理爬取静态页面，可以说是很好的工具，但是随着技术的发展，现在很多页面都不再是静态页面了，都是通过AJAX异步加载数据动态生成的，我们如何去解决问题呢？今天给大家介绍一种方法：scrapy-splash

2 准备工作

首先需要安装一下几个工具
（1）docker
（2）scrapy-splash
因为这里我的操作系统是window，所以只给出window安装docker过程（Linux自行百度，安装很方便的）

1）下载docker toolbox并解压安装即可（下载地址：https://download.csdn.net/download/qq_38003892/10391403）
在这个过程中需要注意一下几个问题：

弹出这样的对话框点击安装即可

2）找到桌面上的Docker Quickstart Terminal打开，它会自动安装一些东西
3）修改pull源
注意：这里默认的pull源不是国内的，所以下载速度特别慢，这里可以通过国内的阿里云镜像库去下载，具体做法如下：
1 打开阿里云官网：