gerapy 爬虫web调度可视化工具(基于scrapyd)
web基于scrapyd提供主机管理功能基于scrapyd管理已安装服务的主机。进入具体主机管理页面,会自动加载所有已知爬虫任务;可直接可以调度、运行、查看日志。提供项目管理功能将已知项目放到project目录下,可进行爬虫项目单台机器、多台机器部署。提供项目代码在线编辑功能提供任务管理功能基于项目-爬虫的管理,可以构建爬虫调度任务。目前支持三种类型调度,date、interval、cron(基本能满足日常需求)Installation注:从 Gerap
原创
2020-06-22 17:17:59 ·
515 阅读 ·
0 评论