scrapy vs requests+BeautifulSoup
1、requests 和 beautifulsoup 都是库,而 scrapy 是框架
2、scrapy 框架中可以加入 requests 和 beautifulsoup
3、scrapy 基于 twisted,性能是最大优势
4、scrapy 方便扩展,提供了很多内置的功能
5、scrapy 内置的 css 和 xpath selector 非常方便,beautifulsoup 最大的缺点就是慢(beautifulsoup 是用 python 写的,性能很差)
网页分类
常见类型的服务
1、静态网页(后台没有数据库,无需与数据库交互)
2、动态网页
3、webservice(restapi)
爬虫用途
1、机器学习的数据样本
2、数据分析、舆情分析等