1.什么是spiderflow?
spider-flow 是一个爬虫平台,以图形化方式定义爬虫流程,无需代码即可实现一个爬虫,也可进行二次开发。
2.下载安装
从仓库拉取代码下来,配置好数据库,调试运行,直接把sql文件拉到navicat里面运行一直报错,不知道是不是我的mysql版本太高的原因,我直接打开sql文件,将创建表的语句复制到navicat里面执行,成功创建表了
跑起来后浏览器访问:http://localhost:8088
3.自己测试
spiderflow提供四个案例,都是采用的GET请求,网上找了一通教程也都是get请求的说明,那我就自己来尝试。
首先找一个是post请求的网站:百度翻译
复制翻译请求的url到抓包的url里面
有个批量测试参数
定义变量
定义输出
调试运行
得到数据
得到数据