一、pyspider框架介绍
新手入住,刚好最近在学习这个pyspider框架,这个框架还是很厉害的(毕竟人家有个web界面),而在使用安装过程中踩了很多坑,所以特地把pyspider的简介和安装写下来,希望对和我一样的初学者在体验pyspider的过程中,少踩一些坑。由于本人是初学者如果文章出现错误的希望大家指出,共同进步(嘻嘻)
1. 简介
pyspider 是一个强大的由python实现的爬虫系统(是国人自己写的一个爬虫框架)
- 纯python写的
- 拥有强大的webui,支持脚本编辑,任务监控,项目管理和结果查看
- 数据库后台支持,MYSQL,MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
- 消息队列支持,RabbitMQ,Beanstalk,Reids以及Kombu
- 支持任务优先级,定时,失败重试等调度方案
- 分布式架构,爬取js页面
- 支持python2和3
2.安装
pip install pyspider
Ubuntu
如果使用ubuntu
,请先运行sudo apt update
,在运行sudo apt upgrade
更新,最后 pip i