分布式爬虫-部署

最新推荐文章于 2024-08-07 20:45:24 发布

Ellen-琳子

最新推荐文章于 2024-08-07 20:45:24 发布

阅读量492

点赞数

文章标签：爬虫 python 数据库

本文链接：https://blog.csdn.net/weixin_45905671/article/details/120141187

版权

本文详细介绍了如何在Ubuntu系统中部署分布式Scrapy爬虫。首先切换到root用户，安装Python3和scrapyd，解决安装过程中的错误。接着配置scrapyd的配置文件，确保使用正确的IP地址。安装twisted并创建项目目录结构。然后通过scrapyd-deploy命令部署爬虫代码，并解决可能的版本不兼容问题。最后，通过API调度和取消爬虫任务，实现分布式爬虫的运行和管理。

摘要由CSDN通过智能技术生成

分布式爬虫-部署
在这里插入图片描述

打开ubuntu
sudo su 转换成root用户，不转输入命令需要加sudo
安装python3 :apt pip install python3-pip
安装scrapyd : pip3 install scrapyd 报以下错误码，
需要更新setuptools见下图：pip3 install --upgrade setuptools
再次执行: pip3 install scrapyd 成功
在这里插入图片描述

进入安装目录：root@ellen-virtual-machine:/# cd /usr/local/lib/python3.6/dist-packages
cd scrapyd 后ls查询看到有一个default_scrapyd.conf文件，将这个文件拷贝到/etc/scrapyd/scrapyd.con中

进入etc目录：cd etc ,创建一个scrapyd文件夹：mkdir scrapyd, 创建完成后再次回到目录cd /user/local/lib/python3.7/dist-packages 中执行：cp default_scrapyd.con /etc/scrapyd/scrapy.con
在这里插入图片描述