Python爬虫知识（1）——scrapy vs requests+BeautifulSoup

scrapy vs requests+BeautifulSoup

1、requests 和 beautifulsoup 都是库，而 scrapy 是框架

2、scrapy 框架中可以加入 requests 和 beautifulsoup

3、scrapy 基于 twisted，性能是最大优势

4、scrapy 方便扩展，提供了很多内置的功能

5、scrapy 内置的 css 和 xpath selector 非常方便，beautifulsoup 最大的缺点就是慢（beautifulsoup 是用 python 写的，性能很差）

---

网页分类

常见类型的服务

1、静态网页（后台没有数据库，无需与数据库交互）

2、动态网页

3、webservice(restapi)

---

爬虫用途

1、机器学习的数据样本

2、数据分析、舆情分析等

---