scrapy爬取前程无忧招聘信息代码（完整版，超详细）

最新推荐文章于 2021-02-11 08:08:59 发布

稳瑜仙女

最新推荐文章于 2021-02-11 08:08:59 发布

阅读量1.9k

点赞数 2

文章标签： python 大数据

本文链接：https://blog.csdn.net/j_l_sheng/article/details/108567857

版权

本文提供了一份详尽的Scrapy代码实例，用于爬取前程无忧网站上的招聘信息，帮助开发者了解如何利用Python进行网络爬虫实践。

摘要由CSDN通过智能技术生成

scrapy爬取前程无忧招聘信息代码

# -*- coding: utf-8 -*-
import scrapy


class JobSpider(scrapy.Spider):
    name = 'job'  #爬虫名
    allowed_domains = ['51job.com'] #域名，此爬虫只会在该网站下采集数据
    start_urls = [f'https://search.51job.com/list/000000,000000,0000,00,9,99,%2B,2,{page}.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='for page in range(1