小白作者的博客

原创 windows下scrapy-redis分布式爬虫的搭建与远程连接

scrapy-redis配置Master and slave前言scrapy-redis环境配置Master(win10，服务器/主机）redis安装启动redis服务slave端（win8，爬虫端）redis安装编写scrapy-redis爬虫分布式爬取开启服务与测试连接爬虫端爬取信息处理 前言 本测试中使用两台电脑，一台win10（作为主机/服务器端），一台win8（作为爬虫端）。 在测试中，win10作为服务器，win8作为爬虫端，win8可以连接win10的redis数据库。但是反过来就不行，至今没