pyspider框架介绍

一、pyspider框架介绍

新手入住，刚好最近在学习这个pyspider框架，这个框架还是很厉害的（毕竟人家有个web界面），而在使用安装过程中踩了很多坑，所以特地把pyspider的简介和安装写下来，希望对和我一样的初学者在体验pyspider的过程中，少踩一些坑。由于本人是初学者如果文章出现错误的希望大家指出，共同进步（嘻嘻）

1. 简介

pyspider 是一个强大的由python实现的爬虫系统（是国人自己写的一个爬虫框架）

• 纯python写的
• 拥有强大的webui，支持脚本编辑，任务监控，项目管理和结果查看
• 数据库后台支持，MYSQL，MongoDB，Reids，SQLite，Elasticsearch，PostgreSQL和SQLAlchemy
• 消息队列支持，RabbitMQ，Beanstalk，Reids以及Kombu
• 支持任务优先级，定时，失败重试等调度方案
• 分布式架构，爬取js页面
• 支持python2和3

2.安装

pip install pyspider

Ubuntu

如果使用ubuntu，请先运行sudo apt update，在运行sudo apt upgrade更新，最后 pip i