现在将上一篇的sinanew改写为scrapy + redis 分布式
以下是需要改动的地方:
先是sina.py
setting.py两处改动
这样就算是改完了,然后alt + f12 输入命令scrapy runspider sina.py
如果提示没有找到这个文件,就scrapy runspider sinanew/sinanew/spiders/sina.py
或者cd sinanew/sinanew/spiders,在执行scrapy runspider sina.py
然后在打开终端,输入redis-cli,进入以下界面:
然后就可以啦
所有一切的前提就是大家要先搭建这些环境