重要的事:
如果你是win10家庭版,先去升级win10专业版!!!
不推荐使用Docker Toolbox!!!
以下所有操作基于Win10专业版!!!
文章包括:
- Docker的安装
- Splash使用的相关问题
win10家庭版升级专业版操作流程:
去某宝自己搜
Dokcer的安装与加速
- 去官网:https://docs.docker.com/docker-for-windows/install/#download-docker-for-windows
- 注:如果点击下载页面打不开的时候,不要慌,换手机热点试一下,我自己就是手机热点才进去的(绝了)
- 获取Docker for Windows(稳定)
- 注:如果点击下载页面打不开的时候,不要慌,换手机热点试一下,我自己就是手机热点才进去的(绝了)
- 下载完成之后右下角会出现一个鲸鱼样子的图标,会让你登录,先去官网注册一个账号,登录就可以了
- 如果右下角没有图标,需要开启Hyper-V服务
- 打开控制面板
- 打开程序和功能
- 勾选
- 确定之后需要重启,重启之后就可以在右下角看到Docker的图标了
- 当鼠标放在鲸鱼🐋上的时候,显示Docker Desktop is running的时候,说明成功安装并运行了
- 使用Daocloud进行加速
-
为什么要使用Daocloud加速:因为获取镜像慢的要死,等上一天都不一定能下载完
-
向下拉可以看到
-
单击右下角鲸鱼🐋,打开setting,添加代码
"http://XXXXXX.m.daocloud.io" # 这个是你自己刚刚从Daocloud获取的, "https://registry.docker-cn.com", "http://hub-mirror.c.163.com"
-
- 使用docker拉取splash
- 打开cmd,检查试一下是不是配置好了,输入
docker --version
,有显示,说明配置好了 - 如果不放心,可以
docker run hello-world
试一下能不能顺利拉取hello-world这个镜像 - 检查完成,先
pip install scrapy-splash
docker pull scrapinghub/splash
拉取镜像- 如果一次没成功就多试几次
- 成功之后:
docker run -p 8050:8050 scrapinghub/splash
启动服务- 如果停在了
Server listening on 0.0.00:8050
不要紧张,关掉cmd,再打开 - 输入
docker ps
查看是否有 - 有就不用担心了,说明拉取玩成了
- 如果停在了
- 打开cmd,检查试一下是不是配置好了,输入
- 打开你的scrapy项目中的setting,配置文件
SPLASH_URL = 'http://192.168.99.100:8050'
SPIDER_MIDDLEWARES = {
'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810
}
#设置一个去重的类
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
#启用这个scrapy-splash的缓存系统
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
- 导入
from scrapy_splash import SplashRequest
- 就可以使用了