使用scrapy框架爬取某招聘网站

这期我们简单介绍一下scrapy框架，并使用该框架做一个小小的案例

一、简单介绍scrapy框架

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。

Scrapy框架主要由五大组件组成，它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫（Spider）和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。

二、简单介绍如何使用scrapy生成一个项目

创建一个项目

scrapy startproject 项目名称

创建爬虫前需要先进入到刚才创建的项目中，然后通过命令

scrapy genspider 爬虫名 域名

注意：爬虫名字不能跟项目名字重复。

三、分析爬取目标网站结构

可以看到我们所需要的内容都在<dd class="item">这个标签下

四、编写程序

这里我们主要使用xpath

import scrapy
import time
from zhong.items import ZhongpinItem


class ZhongSpider(scrapy.Spider):
    name = 'zhaopin'
    allowed_domains = ['域名']
    start_urls = ['爬取目标网站']

    def parse(self, response):
        divs = response.xpath('//dd[@class="item"]')
		# 用于拼接url
        url = '填写URL'
        for div in divs:
            item = ZhongItem()  # 实例化
            gongsi_name = div.xpath('.//span[@c