Gerapy框架是一个比scrapyd界面更好看,功能更强大的一个分布式爬虫部署工具
Gerapy的安装:pip install gerapy
Gerapy是一个基于Django框架的一个爬虫部署web端,在gerapy上,我们能更简便的把我们的项目部署到多台主机上去,现在就让我们来看看以看gerapy的强大。
第一步,现在我们可以在桌面上建立一个空白文件夹,然后shift+右键在此处打开命令行窗口,一切都基于已经安装完gerapy的基础上,我们输入gerapy init 这是gerapy 初始化的命令,之后本地会生成一个名为gerapy的文件夹
第二步,使用cd命令进入到gerapy文件夹里面,使用gerapy migrate 这条命令是创建数据表,他创建的数据库是sqlite3,里面是一些基础表。
第三步,既然gerapy 是基于Django框架的,他的启动命令是 gerapy runserver 注意,这个命令一定要在第一步创建的gerapy文件夹里面使用,否则当你运行部署的爬虫的时候会报错。
第四步,打开浏览器,输入127.0.0.1:8000 出现下面界面则算成功:
更详细的解释:
https://cuiqingcai.com/4959.html
如果你想要在别的机器上部署爬虫,记得关闭你的防火墙,然后,在python的安装目录打开Lib里面的site-packages文件夹,打开后找到scrapyd文件夹,打开之后找到default_scrapyd文件,把里面的bind_address = 127.0.0.1修改为bind_address = 0.0.0.0,然后重新启动scrapyd即可。