fgsdgsdghdsfgrd的博客

项目根目录新建一个 requirement 文件，如下所示：项目根目录新建一个Dockerfile注意：文件不加任何后缀名！将其内容改为：修改项目环境变量首先确保重要redis变量，url地址等使用环境变量获取,修改下settings.py，有助于灵活修改项目构建镜像接下来，进入到项目更目录镜像构建，命令如下构建过程根据Dockerfile步骤来，没有出现报错就说明构建成功查看构建好的镜像执行：如果需要删除镜像的话执行：构建好，在执行之前新建一个 .env 文件，其内容如下：

scrapy有一个组件Stats Callection，是一种scrapy的Extension扩展组件。如果分布式爬取将会各自统计爬取数据，如何实现分布式统计信息共享呢？参考scrapy_redis设置只需要在scrapy爬虫项目里面的settings.py中添加：STATS_CLASS=“scrapy_redis.stats.RedisStatsCollector”。