python实现分布式爬取房天下数据的详细实现过程

**- @[TOC]
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

首先，如何做一个分布式爬虫呢？
其实不难，因为有scrapy-redis第三方库帮我们实现了、
首先先写好一个本地的爬虫，然后再根据需求改一下就可以 了，简单吧！。

---

代码可以在github中下载 [github下载地址](https://github.com/feichechuanyuelianmeng/sofang.com-scrapy-redis.git)

一、任务目标

win10作为redis主服务器，在ubuntu中linux系统以及本机win10同时运行爬虫程序，并将爬取到的数据存储到win10 的redis数据库中。。

二、步骤

1.准备工作

代码如下（示例）：

1. 两个系统都要安装redis数据库
2. 这里是以win中数据库为主，测试linux能否链接win10数据库
3. 第三方的库：scrapy, redis,scrapy-redis…
4. linux要使用分布式需要额外安装程序：
   在linux终端直接敲
   sudo apt-g