scrapy的介绍

scrapy框架学习的课程概要

1. scrapy的基础概念
2. scrapy的工作流程
3. scrapy的入门使用
4. scrapy的深入
5. crawlspider的使用

为什么要学习scarpy

我们之所以学习scrapy不是因为它能够帮助我们解决剩下的10%的爬虫需求，而是因为它能够大幅度地提高我们的爬虫效率，让我们的爬虫变得更快更强。

什么是scrapy

scrapy是一个为了***爬取网站数据、提取结构性数据***而编写的应用***框架***，我们只需要实现少量的代码，就能够快速地抓取

框架&模块

模块

我们之所以说requests是一个模块，是因为requests只能够帮助我们发送请求获取响应

框架

它能够帮助我们解决一种特定的需求下的所有功能，每个功能可能都是一种模块
比如说scrapy框架：发送请求获取响应的模块、提取数据的模块、保存数据的模块

总结

一个框架是包含着很多的模块的。
框架是为了解决一种特定的问题，因此，它把所有的小的内容都独立出来，独立成一个一个的模块，后面呢，我们在特定的步骤中使用特定的模块就可以了。相当于框架是一个大而全的东西ÿ