Scrapy、Scrapy-Splash、Scrapy-Redis安装

前题：安装docker并能使用

安装完在JSON文件中加入国内镜像，阿里云需要自己申请。

"registry-mirrors": [
    "https://********.mirror.aliyuncs.com",
    "https://registry.docker-cn.com",
    "http://hub-mirror.c.163.com",
    "https://docker.mirrors.ustc.edu.cn"
  ]

其他前题：

已为anaconda配置好PATH

Scrapy 安装

JupyterLab 输入

pip install scrapy

import scrapy

Splash 安装

终端中输入：

docker run -p 8050:8050 scrapinghub/splash

成功安装返回类似如下内容

Digest: sha256:b4173a88a9d11c424a4df4c8a41ce67ff6a6a3205bd093808966c12e0b06dacf
Status: Downloaded newer imag