在服务器上搭建scrapy分布式爬虫环境的过程

这段时间在用 scrapy 爬取大众点评美食店铺的信息，由于准备爬取该网站上全国各个城市的信息，单机跑效率肯定是跟不上的，所以只能借助于分布式。scrapy 学习自崔庆才老师的视频，受益颇多，代码简练易懂，风格清新。这里梳理一遍从刚申请的服务器环境配置，python 安装，到搭建能运行分布式爬虫的整个流程。

服务器我是申请的阿里云的学生机，腾讯云和美团云也申请了，相比起来还是阿里云用起来舒服，腾讯云使用体验最差。我装的是 centos 系统，以下也是 centos 下遇到的问题及解决问题的找过的链接。另外阿里云需要添加安全组规则，将后面会用到的端口放行，例如27017，6800等。

从机配置

1.python 的安装

在装过好几台服务器后总结出了最短且有效的装 python 的方法，参考了这篇文章这里简要总结一下

• yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
• wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz
• mkdir /usr/local/python3
• tar -zxvf Python-3.6.3.tgz
• cd Python-3.6.3
• ./configure --prefix=/usr/local/python3
• make && make install
• ln -s /usr/local/python3/bin/python3 /usr/bin/python3 创建 python3 的软链接
• ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3 创建 pip3 的软链接
• 最后命令行下输入pip3和python3 -V 验证一下是否都成功

2.mongodb的安装

在从机上都装上 mongodb，爬取的数据都存在各自的服务器上，之后再汇总。这里参考了