到底用不用Scrapy

Scrapy是个什么

现在Python语言火的不得了，书很多，教程也多，学习班也多，基本上爬虫编写成了必修课。Scrapy的出镜率也随之增高。Scrapy是Python语言开发的比较成熟爬虫框架，是打包方案，底层是异步框架 twisted ，并发是最大优势，他把数据爬取工作进行了结构话的封装，初衷是为了让开发人员更加专注于页面分析。

真的好使吗

由于工作需要，本人要对若网站的数据进行自动化抓取，拿来Scrapy用用吧。整体感觉Python已经提供了很多简单的工具库，本身编写爬虫已经很简单了，用了框架反而增加了很多麻烦。而且网站很多都可以直接调用AJAX的接口获取结构化数据。并发太多会给网站增加很多压力，别人运营网站也不容易，都开几十个并发去爬，无疑就是一种攻击行为。所以后面就还是自己放弃了框架的使用。