scrapy

1、创建scrapy项目:
终端输入 scrapy startproject 项目名称
2.项目组成
spiders(存储的是爬虫文件）
init.py
自定义的爬虫文件.py 有自己创建，是实现爬虫核心功能的文件
items 定义数据结构的地方 爬取的数据都包含哪些
middleware 中间件 代理
pipelines 管道 用来处理下载的数据
settings 配置文件 robots协议 ua定义等

（管道可以有很多个，管道是有优先级的，优先级的范围是1到1000。值越小优先级越高）

创建爬虫文件：scrapy genspider 爬虫文件的名字 要爬取的网页
运行爬虫代码：scrapy crawl 爬虫的名字（scrapy crawl baidu）

4.response的属性和方法（后三个常用）
response.text 获取的是响应的字符串
response.body 获取的是二进制数据
response.xpath 可以直接使用xpath方式来解析response中的内容
response.extract(）提取seletor对象的data属性值
response.extract()_first() 提取的seletor列表的第一个数据

4.windows终端中输入scrapy shell 可以实现不打开scrapy框架修改脚本

5.懒加载
yield迭代器 相当于每次return返回一个值