Gerapy框架的基本使用

     Gerapy框架是一个比scrapyd界面更好看,功能更强大的一个分布式爬虫部署工具

     Gerapy的安装:pip install gerapy

     Gerapy是一个基于Django框架的一个爬虫部署web端,在gerapy上,我们能更简便的把我们的项目部署到多台主机上去,现在就让我们来看看以看gerapy的强大。

第一步,现在我们可以在桌面上建立一个空白文件夹,然后shift+右键在此处打开命令行窗口,一切都基于已经安装完gerapy的基础上,我们输入gerapy init 这是gerapy 初始化的命令,之后本地会生成一个名为gerapy的文件夹

第二步,使用cd命令进入到gerapy文件夹里面,使用gerapy migrate 这条命令是创建数据表,他创建的数据库是sqlite3,里面是一些基础表。

第三步,既然gerapy 是基于Django框架的,他的启动命令是 gerapy runserver 注意,这个命令一定要在第一步创建的gerapy文件夹里面使用,否则当你运行部署的爬虫的时候会报错。

 第四步,打开浏览器,输入127.0.0.1:8000 出现下面界面则算成功:

更详细的解释:

https://cuiqingcai.com/4959.html

如果你想要在别的机器上部署爬虫,记得关闭你的防火墙,然后,在python的安装目录打开Lib里面的site-packages文件夹,打开后找到scrapyd文件夹,打开之后找到default_scrapyd文件,把里面的bind_address = 127.0.0.1修改为bind_address = 0.0.0.0,然后重新启动scrapyd即可。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值