- 博客(1)
- 收藏
- 关注
原创 在服务器上搭建scrapy分布式爬虫环境的过程
记录一下在服务器上做scrapy分布式踩过的坑 这段时间在用 scrapy 爬取大众点评美食店铺的信息,由于准备爬取该网站上全国各个城市的信息,单机跑效率肯定是跟不上的,所以只能借助于分布式。scrapy 学习自崔庆才老师的视频,受益颇多,代码简练易懂,风格清新。 这里梳理一遍从刚申请的服务器环境配置,python 安装,到搭建能运行分布式爬虫的整个流程。
2017-12-06 13:34:21 4877 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人