Scrapy模块爬取中华英才网招聘信息(分页)

本文介绍如何利用Python的Scrapy框架,详细步骤解析爬取中华英才网上发布的招聘信息,涵盖分页数据的抓取,最终将数据存储到数据库中。
摘要由CSDN通过智能技术生成
import scrapy
from fenye.items import FenyeItem
import requests
class ZhfySpider(scrapy.Spider):
    name = 'zhfy'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://www.chinahr.com/channel/rizhao/pn1/']
    # 分页操作
    urls = 'http://www.chinahr.com/channel/rizhao/pn%d/'
    page_num = 2

    def parse(self, response):
        li_list = response.xpath('//div[@class="assortment_right_tab_content"]/ul/li')
        for li in li_list:
            job_name = li.xpath('./div[1]/h1/text()').extract_first()
            job_content = li.xpath
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值