网络爬虫--19.【Scrapy-Redis实战】分布式爬虫爬取房天下--环境准备

本文详细介绍了如何使用Scrapy-Redis搭建分布式爬虫环境,包括在Ubuntu和Windows服务器上安装Redis,配置Redis服务器,通过cmder和RedisDesktopManager管理Redis,以及在Windows和Ubuntu上创建虚拟环境并安装Scrapy。
摘要由CSDN通过智能技术生成

0. 思路

准备三台服务器,分别是Windows、Ubuntu1、Ubuntu2;

其中Windows服务器作为分布式爬虫的Redis服务器;

Ubuntu1和Ubuntu2作为分布式爬虫的爬虫服务器。

一. 虚拟机Ubuntu0中安装Redis

安装:sudo apt-get install redis-server

卸载:sudo apt-get purge --auto-remove redis-server

启动:sudo service redis-server start

查看:ps aux|grep redis

停止:sudo service redis-server stop

二. 虚拟机Ubuntu1中安装Redis

同上。

三. Windows服务器上安装Redis

1.首先安装Redis,安装教程:https://www.runoob.com/redis/redis-install.html

2.启动Redis服务:(切换至Redis安装目录中)
redis-server.exe redis.windows.conf

若报错,按步骤执行以下命令:
redis-cli.exe
shutdown
exit
redis-server.e

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值