2021最新爬虫教程

爬虫框架就是一些爬虫项目的半成品，可以将些爬虫常用的功能写好。然后留下一些接口，在不同的爬虫项目当中，调用适合自己项目的接口，再编写少量的代码实现自己需要的功能。因为框架中已经实现了爬虫常用的功能，所以为开发人员节省了很多精力与时间。

Scrapy

Scrapy框架是一套比较成熟的Python爬虫框架，简单轻巧，并且非常方便。可以高效事的爬取 Web页面井从页面中提取结构化的数据。

重要的是Scrapy 是一套开源的框架，所以在使用时不需要担心收取费用的问题。

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。可以用它轻松的爬下来如亚马逊商品信息之类的数据。

Scrapy 的官网地址为:

https://scrapy.org/

Crawley

Crawley也是Python开发出的爬虫框架，该框架致力于改变人们从互联网中提取数据的方式Crawley的具体特性如下：

基于Eventlet构建的高速网络爬虫框架。

可以将数据存储在关系数据库中，例如，Postgres, Mysql. Oracle. Sqlite.

可以将爬取的数据导入为Json. XML格式。

支持非关系数据跨，例如，Mongodb 和Couchdb.

支持命令行工具。

可以使用喜欢的工具进行数据的提取，例如，XPath 或Pyquery工具。

支持使用Cookie登录或访问那些只有登录才可以访问的网页。

Cra