10.4 Python导出爬取的数据至json文件并添加爬取多页功能

4、导出爬取的数据至json文件并添加爬取多页功能

需求：

• 爬取 BOSS 直聘北京地区所有页面的招聘信息

• 将爬取到的数据导入到 json 格式的文件中

• 在Scrapy开发爬虫的步骤（第3节）的基础上进行后续开发

步骤：

（1）修改 pipeline.py 文件（输出到 json 文件）

• 在构造器中初始化资源
• 重写两个方法：
  • process_item(self, item, spider)：处理爬取的每项数据
  • close_spider(self, spider)：数据处理完后关闭蜘蛛

import json

class ZhipinspiderPipeline(object):
    # 初始化要写入的JSON文件（Window默认字符集为GBK，建议以二进制的形式输出并编码成UTF-8格式）
	def __init__(self):
		self.json_file = open('jobs.json', 'wb+')
		self.json_file.write('\n'.encode('UTF-8'))     
        
	def process_item(self, item, spider):
		# 将每个item对象转换成一个json字符串
		text = json.dumps(dict(item), ensure_ascii=False) + ',\n'
        # 写入JSON文件
		self.json_file.write(text.encode('UTF-8'))

	# 蜘蛛关闭时（自动调用close_spider方法），需要关闭文件
	def close_spider(self, spider):
		print('-------关闭文件-------')
		self.json_file.seek(-2, 1)
		self.json_file.write('\n'.encode('UTF-8'))
		self.json_file.close()

（2）编写 job_position.py 文件（添加读取下一页功能）

# -*- coding: utf-8 -*-

import scrapy
from ZhipinSpider.items import ZhipinspiderItem

class JobPositionSpider(scrapy.Spider):
	name = 'job_position'
	allowed_domains = ['zhipin.com']
	start_urls = ['https://www.zhipin.com/job_detail/?query=%E5%8C%97%E4%BA%AC&city=101010100&industry=&position=']
	
	def parse(self, response):
		print(response.request.headers['User-Agent'])
		for job_primary in response.xpath('//div[@class="job-primary"]'):
			# 为每个招聘创建一个Item对象
			item= ZhipinspiderItem()
            
			# 获取包含工作信息的div
			info_primary = job_primary.xpath('./div[@class="info-primary"]')
			item['title'] = info_primary.xpath('./h3/a/div[@class="job-title"]/text()').extract()[0]
			item['salary'] = info_primary.xpath('./h3/a/span[@class="red"]/text()').extract_first()  
			item['work_addr'] = info_primary.xpath('./p/text()').extract_first() 
			item['url'] = info_primary.xpath('./h3/a/@href').extract_first()

			# 获取包含公司信息的div
			info_company = job_primary.xpath('./div[@class="info-company"]/div[@class="company-text"]')
			item['company'] = info_company.xpath('./h3/a/text()').extract_first()
			company_info = info_company.xpath('./p/text()').extract()
			if company_info and len(company_info) > 0:
				item['industry'] = company_info[0]
			if company_info and len(company_info) > 2:
				item['company_size'] = company_info[2]

			# 获取包含招聘人信息的div
			info_publis = job_primary.xpath('./div[@class="info-publis"]')
			item['recruiter'] = info_publis.xpath('./h3/text()').extract_first()
            
			yield item
            
        # 获取下一页的链接
		new_links = response.xpath('//div[@class="page"]/a[@class="next"]/@href').extract()
		if new_links and len(new_links) > 0:
			new_link = new_links[0]
			# 再次发送请求，并使用self.parse来处理服务器响应
			yield scrapy.Request('https://www.zhipin.com' + new_links[0], callback=self.parse)

（3）运行Spider项目

• cmd 窗口下：

  F:
  cd F:\PycharmProjects\ZhipinSpider\ZhipinSpider
  scrapy crawl job_position