一般想要自动化搜集网页上的资料时,普遍都会使用像BeautifulSoup或Selenium套件开发Python网页爬虫来取得,但是,如果所要爬取的资料量较大,拥有复杂的逻辑处理及效率的要求,这时候就会建议使用Scrapy框架,来帮助开发人员建立一个维护性较好的Python网页爬虫。
而要使用Scrapy框架来开发大型的Python网页爬虫专案前,本文就先来带大家了解一下Scrapy框架的以下三个基本观念:
Scrapy框架是什么
Scrapy框架模组
Scrapy框架执行执行流程
一、Scrapy框架是什么
Srapy是一个网页爬虫「框架」,拥有完整的Python网页爬虫开发功能,也提供开发人员能够进行客制化,并且,有一定的专案架构及执行流程,所以在未来的维护上较为容易。
另外,Scrapy框架是基于Twisted非同步网络框架所建立的,执行效率也非常的好,适用于大型的Python网页爬虫专案。而Scrapy框架与常应用于网页爬虫的BeautifulSoup及Selenium套件比较,可以参考「python」BeautifulSoup,Selenium,Scrapy三大爬虫工具比较文章
二、Scrapy框架模组
Scrapy框架是由以下5个主要模