使用 Scrapy 和 Selenium 爬取 Boss 直聘职位信息（可视化结果）

晒足以百八十

已于 2024-03-07 15:43:38 修改

阅读量5k

点赞数 44

文章标签： scrapy selenium python

于 2024-01-11 21:19:47 首次发布

本文链接：https://blog.csdn.net/yaokk1/article/details/132892306

版权

在本博客中，我们将介绍如何使用 Scrapy 和 Selenium 来爬取 Boss 直聘网站上的职位信息。Boss 直聘是一个广受欢迎的招聘平台，提供了大量的职位信息，以及公司和 HR 的联系信息。通过本文的指南，你将学会如何创建一个爬虫来抓取特定城市的 Python 职位信息。

简介

在这个示例中，我们将创建一个 Scrapy 爬虫，使用 Selenium 来模拟浏览器操作，以抓取 Boss 直聘网站上特定城市的 Python 职位信息。我们将获取职位名称、工资、福利、地区、招聘类型、学历要求、关键词、详细要求、公司名称、是否上市、公司规模、所属行业、公司介绍、详细地址、HR 姓名和职位的信息。以下是实现这一目标的详细步骤。

步骤 1: 创建 Scrapy 项目

首先，确保你已经安装了 Scrapy 和 Selenium。然后，创建一个新的 Scrapy 项目：

scrapy startproject boss

步骤 2: 创建 Spider

在 Scrapy 项目中，你需要创建一个 Spider 来定义爬取网站的规则和行为。在项目目录下创建一个名为 boss_spider.py 的 Spider 文件，然后添加以下代码：

import time
import scrapy
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from boss.items import BossItem

class BsSpider(scrapy.Spider):
    name = "bs"
    start_urls = ["https://www.zhipin.com/web/geek/job?query=python&city=101110100"]

    def parse(self, response):
        # 创建 ChromeOptions 对象
        chrome_options = Options()

        # 禁用图片加载
        prefs = {"profile.managed_default_content_settings.images": 2}
        chrome_options.add_experimental_option("prefs", prefs)

        # 启动 Chrome 浏览器
        driver = webdriver.Chrome(options=chrome_options)

        # 循环，可以设置连续爬取多个城市的职位信息
        city_list = ['101110100']

        for j in city_list:
            for p in range(1, 11):
                # 下一页
                next_url = f'https://www.zhipin.com/web/geek/job?query=python&city={j}&page={p}'
                # 打开网页
                driver.get(next_url)

                time.sleep(1)

                for i in range(1, 31):
                    # 反爬
                    time.sleep(1)

                    # 等待页面加载完成
                    try:
                        wait = WebDriverWait(driver, 10)
                        wait.until(EC.presence_of_element_located((By.XPATH, f'//ul/li[{i}]/div[1]/a')))
                    except:
                        continue

                    # 省略爬取数据的代码...

                    # 创建一个BossItem对象并将数据存储其中
                    try:
                        item = BossItem()
                        item['job_name'] = job_name
                        item['salary'] = salary
                        # 添加其他字段...

                        # 返回BossItem对象给Scrapy管道进行进一步处理
                        yield item
                    except:
                        continue

                    # 关闭新页面
                    try:
                        driver.close()
                    except:
                        continue

                    # 切换回旧页面
                    try:
                        driver.switch_to.window(driver.window_handles[-1])
                    except:
                        continue

        # 关闭浏览器
        driver.quit()

请注意，这里使用了 Selenium 来模拟浏览器操作，以便在页面加载和元素查找方面更加灵活。同时，我们需要为每个职位信息创建一个 BossItem 对象，并使用 yield 语句返回它们，以便 Scrapy 管道进行进一步处理。

步骤 3: 创建 Item

在 Scrapy 项目中，需要定义要抓取的数据结构。在项目目录下的 items.py 文件中，添加以下代码：

import scrapy

class BossItem(scrapy.Item):
    job_name = scrapy.Field()
    salary = scrapy.Field()
    benefit = scrapy.Field()
    local = scrapy.Field()
    type = scrapy.Field()
    requ = scrapy.Field()
    key = scrapy.Field()
    detail = scrapy.Field()
    company = scrapy.Field()
    market = scrapy.Field()
    scale = scrapy.Field()
    business = scrapy.Field()
    introduce = scrapy.Field()
    address = scrapy.Field()
    url = scrapy.Field()
    hr_name = scrapy.Field()
    hr_p = scrapy.Field()

这里定义了与职位信息相关的字段，以便在 Spider 中使用。

步骤 4: 配置 Settings

在 Scrapy 项目的 settings.py 文件中，确保已经启用了 Scrapy 的下载中间件，并禁用了默认的 User-Agent。这样可以更好地模拟浏览器行为，减轻反爬虫限制：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy_user_agents.middlewares.RandomUserAgentMiddleware': 400,
    # 其他中间件...
}

USER_AGENTS = [
    # 添加一些常见的 User-Agent
]

ROBOTSTXT_OBEY = False