《Python笔记》Scrapy + Splash实现动态数据爬取

前言

现在很多网站都是在浏览器中使用js动态渲染页面，直接意味着无法直接从原始页面中爬取到数据。

所以这里就使用可以提供js渲染解析功能的Scrapy-Splash

一、安装Scrapy-Splash

首先，要明白一点，Scrapy-Splash是需要在docker中使用的，所以前期工作得做好

1. 安装docker   

https://blog.csdn.net/Eternal_Blue/article/details/96855986

2. docker安装成功后，在docker中安装scrapy-splash，执行该命令：

docker run -d -p 8050:8050 scrapinghub/splash

3. 安装成功，再从浏览器上测试一下，ip为安装服务器的路径。如果能打开如图所示的页面，就意味着安装成功了

http://192.168.1.104:8050