爬虫的技术选型

对于爬虫，我们的常见方案是Scrapy或者requests+beautifulsoup，但在此次课程中，我选择使用Scrapy,原因有以下几点。

①requests和beautifulsoup都是库，而Scrapy是框架

②Scrapy是框架中可以加入requests和beautifulsoup

③Scrapy基于twisted,性能是最大优势

④Scrapy方便扩张，提供了很多内置功能

⑤Scrapy内置的css和Xpath selector非常方便，beautifulsoup的最大缺点就是慢

以上内容是今日所学，具体细节后面慢慢学，边学边做边写博客记录