PySpider:一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器,任务监视器,项目管理器以及结果查看器。
一: 在cmd中使用pysider all启动pyspider及其组
二:输入链接http://localhost:5000,进入pyspider dashboard面板
三:创建项目,点create会出现create new project对话框,第一行是项目名字,第二行是开始的url地址(以去哪儿网站为例),填写完成点击creat。