在Win10环境下使用Docker拉取Splash的相关流程

重要的事：

如果你是win10家庭版，先去升级win10专业版！！！

不推荐使用Docker Toolbox！！！

以下所有操作基于Win10专业版！！！

文章包括：

• Docker的安装
• Splash使用的相关问题

win10家庭版升级专业版操作流程：

去某宝自己搜

Dokcer的安装与加速

• 去官网：https://docs.docker.com/docker-for-windows/install/#download-docker-for-windows
  • 注：如果点击下载页面打不开的时候，不要慌，换手机热点试一下，我自己就是手机热点才进去的（绝了）
    
  • 获取Docker for Windows（稳定）
• 下载完成之后右下角会出现一个鲸鱼样子的图标，会让你登录，先去官网注册一个账号，登录就可以了
• 如果右下角没有图标，需要开启Hyper-V服务
  • 打开控制面板
  • 打开程序和功能
  • 勾选
  • 确定之后需要重启，重启之后就可以在右下角看到Docker的图标了
  • 当鼠标放在鲸鱼🐋上的时候，显示Docker Desktop is running的时候，说明成功安装并运行了
• 使用Daocloud进行加速

  • 为什么要使用Daocloud加速：因为获取镜像慢的要死，等上一天都不一定能下载完

  • 进入官网：https://www.daocloud.io/mirror

  • 向下拉可以看到

  • 单击右下角鲸鱼🐋，打开setting，添加代码
    

        "http://XXXXXX.m.daocloud.io" # 这个是你自己刚刚从Daocloud获取的,
        "https://registry.docker-cn.com",
        "http://hub-mirror.c.163.com"
    

• 使用docker拉取splash
  • 打开cmd，检查试一下是不是配置好了，输入docker --version，有显示，说明配置好了
  • 如果不放心，可以docker run hello-world试一下能不能顺利拉取hello-world这个镜像
  • 检查完成，先pip install scrapy-splash
  • docker pull scrapinghub/splash拉取镜像
    • 如果一次没成功就多试几次
  • 成功之后：docker run -p 8050:8050 scrapinghub/splash启动服务
    • 如果停在了Server listening on 0.0.00:8050不要紧张，关掉cmd，再打开
    • 输入docker ps查看是否有
    • 有就不用担心了，说明拉取玩成了
• 打开你的scrapy项目中的setting，配置文件

SPLASH_URL = 'http://192.168.99.100:8050'

SPIDER_MIDDLEWARES = {
'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}

# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
   'scrapy_splash.SplashCookiesMiddleware': 723,
   'scrapy_splash.SplashMiddleware': 725,
   'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810
}

#设置一个去重的类
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'

#启用这个scrapy-splash的缓存系统
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

• 导入from scrapy_splash import SplashRequest
• 就可以使用了