Python scrapy数据建模与请求

学习目标：
1、应用 在scrapy项目中进行建模；
2、应用 构造 Request 对象，并发送请求；
3、应用 利用meta参数在不同的解析函数中传递数据；

1、数据建模
通常在做项目的过程中，在items.py中进行数据建模。

1.1 为什么建模
1)、定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查；
2)、配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字段代替；
3）、使用scrapy的一些特定组件需要Item做支持，如scrapy的ImagePipeline管道类，百度搜索了解更多；

1.2 如何建模

在item.py文件中定义要提取的字段：

class MyspiderItem(scrapy.Item)
	name = scrapy.Field() # 讲师的名字
	title = scrapy.Field() # 讲师的职称
	desc = scrapy.Field（） # 讲师的介绍

1.3 如何使用模版类
模版类定义以后需要在爬虫中导入并且实例化，之后的使用方法和使用字典相同。
job.py

from myspider.items import MyspiderItem # 导入Item，注意路径

	def parse(self,response)
		item = MyspiderItem() # 实例化后可直接使用
		
		item['name'] = node.xpath('./h3/text()').extract_first()
		item['title'] = node.xpath('./h4/text()').extract_first()
		item['desc'] = node.xpath('./p/text()').extract_first()

print(item)

注意：
1）、from myspider.items import MyspiderItem这一行代码中 注意item的正确导入路径，忽略pycharm标记的错误；
2）、python中的导入路径要诀：从哪里开始运行，就从哪里开始导入；

1.4 开发流程总结
1）、创建项目；
scrapy startproject项目名
2）、明确目标
在items.py文件中进行建模
3）、创建爬虫

scrapy genspider 爬虫名 允许的域

3.2 完成爬虫

修改start_urls
检查修改allowed_domains
编写解析方法

4、保存数据
在pipelines.py文件中定义对数据处理的管道；
在settings.py文件中注册启用管道；

2、翻页请求的思路
对于要提取如下图中所有页面上的数据该怎么办？

回顾requests模块是如何实现翻页请求的：
1）、找到下一页的URL地址；
2）、调用requests.get(url);

scrapy实现翻页的思路：
1）、找到下一页的url地址；
2）、构造url地址的请求对象，传递给引擎；

3、构造Requests对象，并发送请求

3.1 实现方法
1）、确定url地址；
2）、构造请求，scrapy.Requests(url,callback)
callback:指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析；
3）、把请求交给引擎：yield scrapy.Request(url,callback)

3.2 网易招聘爬虫

通过爬取网易招聘的页面的招聘信息，学习如何实现翻页请求。

思路分析：
1）、获取首页的数据；
2）、寻找下一页的地址，进行翻页，获取数据；

注意：
1）、可以在settings中设置ROBOTS协议

# False 表示忽略网站的robots.txt协议，默认为True
ROBOOTSTXT_OBEY = False

3.3 scrapy.Requests的更多参数

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])

参数解释
1)、中括号里的参数为可选参数；
2）、callbaack:bi表示当前的url的响应交给哪个函数去处理；
3）、meta:实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请求深度等；；
4）、dont_filter：默认为False,会过滤请求的url地址不会连续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化；start_urls中的地址会被反复请求，否则程序不会启动；
5）、method:指定POST或GET请求；
6）、headers:接收一个字典，其中不包括cookies；
7）、cookes:接收一个字典，专门放置cookies;
8)、body:接收json字符串，为POST的数据，发送payload_post请求时使用(在下一章节中会介绍post请求）

4、meta参数的使用
meta的作用：metak可以实现数据在不同的解析函数中的传递。

在爬虫文件的parsef方法中，提取详情页增加之前callback指定的parse_detail函数；

def parse(self,response):
	'''
	yield scrapy.Requests(detail_url,callback=self.parse_detail,meta={"item":item})
	'''
	def parse_detail(self,response):
		# 获取之前传入的item
		item = response.meta["item"]

特别注意：
1）、meta参数是一个字典；
2）、meta字典中有一个固定的键proxy，表示代理ip,关于代理ip的使用我们将在scrapy的下载中间件的学习中进行介绍。