Scrapy很好用！神级Python爱玛士分享妙解心得

前言

Scrapy是爬虫必须学会的一个框架！一般人确实很难搞的透彻！不过他的功能方面确实特别好用。

scrapy

scrapy是一个异步爬虫框架，使用它，可以屏蔽很多复杂的底层设计，只需要解析下载的页面，更多了我们需要关注的是目标网站/页面爬取的难易程度，该怎么来实现它。虽然是，但是在爬取大量网站可能需要用分布式的爬虫，当然scrapy也有

操作流程图

指定一个起始URL后，scrapy就可以根据