【2022-03-07】抓取菜鸟教程案例-feapder框架

提前声明：该专栏涉及的所有案例均为学习使用，如有侵权，请联系本人删帖！

一、feapder框架

1.简单介绍

• feapder 是一款上手简单，功能强大的Python爬虫框架，使用方式类似scrapy，方便由scrapy框架切换过来，框架内置3种爬虫：
  • AirSpider爬虫比较轻量，学习成本低。面对一些数据量较少，无需断点续爬，无需分布式采集的需求，可采用此爬虫。
  • Spider是一款基于redis的分布式爬虫，适用于海量数据采集，支持断点续爬、爬虫报警、数据自动入库等功能
  • BatchSpider是一款分布式批次爬虫，对于需要周期性采集的数据，优先考虑使用本爬虫。
• feapder支持断点续爬、数据防丢、监控报警、浏览器渲染下载、数据自动入库Mysql或Mongo，还可通过编写pipeline对接其他存储

2.环境要求

Python 3.6.0+
Works on Linux, Windows, macOS

3.安装