这段时间在用 scrapy 爬取大众点评美食店铺的信息,由于准备爬取该网站上全国各个城市的信息,单机跑效率肯定是跟不上的,所以只能借助于分布式。scrapy 学习自崔庆才老师的视频,受益颇多,代码简练易懂,风格清新。这里梳理一遍从刚申请的服务器环境配置,python 安装,到搭建能运行分布式爬虫的整个流程。
服务器我是申请的阿里云的学生机,腾讯云和美团云也申请了,相比起来还是阿里云用起来舒服,腾讯云使用体验最差。我装的是 centos 系统,以下也是 centos 下遇到的问题及解决问题的找过的链接。另外阿里云需要添加安全组规则,将后面会用到的端口放行,例如27017,6800等。
从机配置
1.python 的安装
在装过好几台服务器后总结出了最短且有效的装 python 的方法,参考了这篇文章这里简要总结一下
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel
readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
wget https://www.python.org/ftp/python/3.6.3/Python-3.6.3.tgz
mkdir /usr/local/python3
tar -zxvf Python-3.6.3.tgz
cd Python-3.6.3
./configure --prefix=/usr/local/python3
make && make install
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
创建 python3 的软链接ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
创建 pip3 的软链接- 最后命令行下输入
pip3
和python3 -V
验证一下是否都成功
2.mongodb的安装
在从机上都装上 mongodb,爬取的数据都存在各自的服务器上,之后再汇总。这里参考了