scrapy_在linux环境下部署scrapy分布式
分布式爬虫linux部署环境步骤
1. (以下为linux环境下进行)
Scrapy的安装有多种方式,它支持Python2.7版本及以上或Python3.3版本及以上,scrapy的依赖库比较多
执行如下命令安装依赖库:
sudo apt-get install build-essential python3-dev libxml2-dev python3-pip libxslt1-dev z...
原创
2019-01-20 21:57:15 ·
534 阅读 ·
0 评论