1.简介
spiderkeeper是一款开源的spider管理工具,可以方便的进行爬虫的启动,暂停,定时,同时可以查看分布式情况下所有爬虫日志,查看爬虫执行情况等功能。
2.安装
详见
https://blog.csdn.net/m0_38106113/article/details/81812135
注意:
crapyd spiderkeeper 都必须在项目的根目录下运行
3.API
spiderkeeper可以通过http的API进行操控,官方给了一个文档及调试页面,在运行spiderkeeprt后,
访问 http://127.0.0.1:5000/api.html
点开 Show/Hide
按钮,即可看到文档
有相关api接口说明,也可以直接在页面上尝试访问api
4.使用代码调用接口
正常调用http的包访问api即可,有一点需要注意,访问时需要加上授权
python requests调用
html = requests.post(url=url