「python」快速入门Scrapy框架的5个执行模组及架构——第一篇

一般想要自动化搜集网页上的资料时，普遍都会使用像BeautifulSoup或Selenium套件开发Python网页爬虫来取得，但是，如果所要爬取的资料量较大，拥有复杂的逻辑处理及效率的要求，这时候就会建议使用Scrapy框架，来帮助开发人员建立一个维护性较好的Python网页爬虫。

而要使用Scrapy框架来开发大型的Python网页爬虫专案前，本文就先来带大家了解一下Scrapy框架的以下三个基本观念：

Scrapy框架是什么

Scrapy框架模组

Scrapy框架执行执行流程

一、Scrapy框架是什么

Srapy是一个网页爬虫「框架」，拥有完整的Python网页爬虫开发功能，也提供开发人员能够进行客制化，并且，有一定的专案架构及执行流程，所以在未来的维护上较为容易。

另外，Scrapy框架是基于Twisted非同步网络框架所建立的，执行效率也非常的好，适用于大型的Python网页爬虫专案。而Scrapy框架与常应用于网页爬虫的BeautifulSoup及Selenium套件比较，可以参考「python」BeautifulSoup，Selenium，Scrapy三大爬虫工具比较文章

二、Scrapy框架模组

Scrapy框架是由以下5个主要模