三、Scrapy数据建模与请求-网易招聘版

python编程快速上手（持续更新中…）

python爬虫从入门到精通

Scrapy爬虫框架

---

1. 数据建模

通常在做项目的过程中，在items.py中进行数据建模

1.1 为什么建模

定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查

配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替

使用scrapy的一些特定组件需要Item做支持，如scrapy的ImagesPipeline管道类，百度搜索了解更多

1.2 如何建模

在items.py文件中定义要提取的字段：

1.3 如何使用模板类

class MyspiderItem(scrapy.Item):
    name = scrapy.Field()  # 讲师的名字
    title = scrapy.Field()  # 讲师的职称
    desc = scrapy.Field()  # 讲师的介绍

# # 校验
# if __name__ == '__main__':
#     item = MyspiderItem()
#     item['name'] = '王老师'
#     item['title'] = 'XXX传教授'
#     item['desc'] = '毕业于………………'
#     print(item)

模板类定义以后需要在爬虫中导入并且实例化，之后的使用方法和使用字典相同

from myspider.items import MyspiderItem   # 导入Item，注意路径
...
    def parse(self, response)

        item = MyspiderItem() # 实例化后可直接使用

        item['name'] = node.xpath('./h3/text()').extract_first()
        item['title'] = node.xpath('./h4/text()').extract_first()
        item['desc'] = node.xpath('./p/text()').extract_first()
        
        print(item)

pipelines.py

# 强转字典
item = dict(item)

注意：
from myspider.items import MyspiderItem这一行代码中 注意item的正确导入路径，忽略pycharm标记的错误
python中的导入路径要诀：从哪里开始运行，就从哪里开始导入

1.4 开发流程总结

1.创建项目
scrapy startproject 项目名

2.明确目标
在items.py文件中进行建模

3. 创建爬虫
创建爬虫
scrapy genspider 爬虫名 允许的域
完成爬虫
修改start_urls
检查修改allowed_domains
编写解析方法

4.保存数据
在pipelines.py文件中定义对数据处理的管道
在settings.py文件中注册启用管道

2. 翻页请求的思路

对于要提取如下图中所有页面上的数据该怎么办？

回顾requests模块是如何实现翻页请求的：
1.找到下一页的URL地址
2.调用requests.get(url)
scrapy实现翻页的思路：
1.找到下一页的url地址
2.构造url地址的请求对象，传递给引擎

3. 构造Request对象，并发送请求

3.0 创建网易招聘爬虫项目

1.创建工程

scrapy startproject wangyi

2.建模（items.py）

# define the fields for your item here like:
    name = scrapy.Field()
    link = scrapy.Field()
    depart = scrapy.Field()
    category = scrapy.Field()
    type = scrapy.Field()
    address = scrapy.Field()
    num = scrapy.Field()
    date = scrapy.Field()

3.创建爬虫

cd wangyi/
scrapy genspider job 163.com

4.job.py

import scrapy
from wangyi.items import WangyiItem

class JobSpider(scrapy.Spider):
    name = 'job'
    # 2.检查
    allowed_domains = ['163.com']

    # 1.修改
    start_urls = ['https://hr.163.com/position/list.do']

    def parse(self, response):
        # 提取数据
        # 获取所有职位节点列表
        node_list = response.xpath('//*[@class="position-tb"]/tbody/tr')
        # print(len(node_list))

        # 遍历节点列表
        for num, node in enumerate(node_list):
            # 设置过滤条件，将目标节点获取出来
            if num % 2 == 0:
                item = WangyiItem()

                item['name'] = node.xpath('./td[1]/a/text()').extract_first()
                # response.urljoin()用于拼接相对路径的url，可以理解成自动补全
                item['link'] = response.urljoin(node.xpath('./td[1]/a/@href').extract_first())
                item['depart'] = node.xpath('./td[2]/text()').extract_first()
                item['category'] = node.xpath('./td[3]/text()').extract_first()
                item['type'] = node.xpath('./td[4]/text()').extract_first()
                item['address'] = node.xpath('./td[5]/text()').extract_first()
                item['num'] = node.xpath('./td[6]/text()').extract_first().strip()
                item['date'] = node.xpath('./td[7]/text()').extract_first()
                yield item

        # 模拟翻页
        part_url = response.xpath('/html/body/div[2]/div[2]/div[2]/div/a[last()]/@href').extract_first()

        # 判断终止条件
        if part_url != 'javascript:void(0)':
            next_url = response.urljoin(part_url)
            # 构建请求对象，并且返回给引擎
            yield scrapy.Request(
                url=next_url,
                callback=self.parse
            )

5.运行

scrapy crawl itcast

6.保存数据（pipelines.py）

import json

class WangyiPipeline:

    def open_spider(self, spider):
        if spider.name == 'job':
            self.file = open('wangyi.json', 'w')

    def process_item(self, item, spider):
        if spider.name == 'job':
            item = dict(item)

            str_data = json.dumps(item, ensure_ascii=False) + ',\n'

            self.file.write(str_data)

        return item

    def close_spider(self, spider):
        if spider.name == 'job':
            self.file.close()

7.settings启用
放开ITEM_PIPELINES
注释：ROBOTSTXT_OBEY = True

3.1 实现方法

确定url地址
构造请求，scrapy.Request(url,callback)
callback：指定解析函数名称，表示该请求返回的响应使用哪一个函数进行解析
把请求交给引擎：yield scrapy.Request(url,callback)

3.2 网易招聘爬虫

通过爬取网易招聘的页面的招聘信息,学习如何实现翻页请求
地址：https://hr.163.com/position/list.do

思路分析：
获取首页的数据，寻找下一页的地址，进行翻页，获取数据

注意：
可以在settings中设置ROBOTS协议

False表示忽略网站的robots.txt协议，默认为True

ROBOTSTXT_OBEY = False

可以在settings中设置User-Agent：
scrapy发送的每一个请求的默认UA都是设置的这个User-Agent

USER_AGENT = ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36’

3.3 代码实现

在爬虫文件的parse方法中：
…
# 提取下一页的href
next_url = response.xpath(’//a[contains(text(),">")]/@href’).extract_first()

# 判断是否是最后一页
if next_url != 'javascript:void(0)':

    # 构造完整url
    url = 'https://hr.163.com/position/list.do' + next_url

	# 构造scrapy.Request对象，并yield给引擎
	# 利用callback参数指定该Request对象之后获取的响应用哪个函数进行解析
	yield scrapy.Request(url, callback=self.parse)

…

3.4 scrapy.Request的更多参数

scrapy.Request(url[,callback,method=“GET”,headers,body,cookies,meta,dont_filter=False])

参数解释
1.中括号里的参数为可选参数

2.callback：表示当前的url的响应交给哪个函数去处理

3.meta：实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请

4.求深度等

5.dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化;start_urls中的地址会被反复请求，否则程序不会启动

6.method：指定POST或GET请求

7.headers：接收一个字典，其中不包括cookies

8.cookies：接收一个字典，专门放置cookies

9.body：接收json字符串，为POST的数据，发送payload_post请求时使用（在下一章节中会介绍post请求）

4. meta参数的使用

meta的作用：meta可以实现数据在不同的解析函数中的传递

在爬虫文件的parse方法中，提取详情页增加之前callback指定的parse_detail函数：

def parse(self,response):
    ...
    yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})
...

def parse_detail(self,response):
    #获取之前传入的item
    item = resposne.meta["item"]

特别注意
meta参数是一个字典
meta字典中有一个固定的键proxy，表示代理ip，关于代理ip的使用我们将在scrapy的下载中间件的学习中进行介绍