Scrapy框架学习 - 爬取腾讯社招全部职位信息

分析

1.分析网页，确定数据爬取规则

2.创建项目

3.创建数据模型Item

4.创建爬虫Spider,进行数据爬取

5.创建Item Pipeline，进行数据处理

6.按需求设置配置文件

源码

items.py

class TencentPositionItem(scrapy.Item):
    """腾讯招聘爬虫Item"""
    # 职位名称
    title=scrapy.Field()
    # 职位类别
    type=scrapy.Field()
    # 招聘人数
    count=scrapy.Field()
    # 地点
    location=scrapy.Field()
    # 发布时间
    pubtime=scrapy.Field()

spiders/tencent_position_spider.py

# !/usr/bin/env python
# -*- coding:utf-8 -*-

import scrapy
from myscrapy.items import TencentPositionItem


class PositionSpider(scrapy.Spider):
    """
    爬取腾讯招聘的全部职位信息
    练习:
        1. 在Spider中的parse()方法中处理爬虫的2种选择:返回给Item Pipeline处理, 或者发起新的Request;
        2. Item Pipeline的用法;
    """

    name = 'tencent_position'
    allowed_domains=['hr.tencent.com']

    offset=0
    base_url='http://hr.tencent.com/position.php?&start='
    start_urls=[base_url+str(offset)]

    def parse(self, response):
        # 一页中的所有职位
        positions=response.xpath('//tr[@class="even"]|//tr[@class="odd"]')
        for position in positions:
            title = position.xpath('./td[position()=1]/a/text()').extract()[0]
            type = position.xpath('./td[position()=2]/text()').extract()
            # 好坑爹,第6页中有一个职位没有类别
            if len(type):
                type=type[0]
            else:
                type='马化腾二大爷'
            count = position.xpath('./td[position()=3]/text()').extract()[0]
            location = position.xpath('./td[position()=4]/text()').extract()[0]
            pubtime = position.xpath('./td[position()=5]/text()').extract()[0]

            item=TencentPositionItem()
            item['title']=title
            item['type']=type
            item['count']=count
            item['location']=location
            item['pubtime']=pubtime

            # 将item传递给Pipeline处理
            yield item

        # 如果没有到最后一页,就爬取下一页
        if self.offset<=2680:
            self.offset+=10
            yield scrapy.Request(url=self.base_url+str(self.offset),callback=self.parse)

pipelines.py

class TencentPositionPipeline(object):
    """
    腾讯招聘爬虫Item Pipeline
    """
    def __init__(self):
        self.f=open('data/tencentposition.json',mode='wb+')

    def process_item(self,item,spider):
        data=json.dumps(dict(item),ensure_ascii=False,indent=4)
        self.f.write(data.encode('utf-8')+b'\n')

        return item

    def close_spider(self,spider):
        self.f.close()

settings.py

ITEM_PIPELINES = {
    'myscrapy.pipelines.TencentPositionPipeline': 300,
}

运行结果展示