part1 selenium爬取BOSS直聘信息-CSDN博客

本文链接：https://blog.csdn.net/qq_56504236/article/details/119517584

本文介绍了如何使用Python结合Selenium库来爬取BOSS直聘网站上的信息。首先明确了需求，包括选择的工具、目标数据及存储位置。接着，文章详细阐述了采用传统编程方式实现爬虫的步骤，并通过注释解释了关键注意事项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先我们先梳理一下需求：想要使用的工具，想要获取的信息，以及想要保存的位置
其次可以选择常规方式书写也可以考虑面向对象的方式进行功能封装
- 这里采用常规方式书写
- 关键需要注意的点也已注释的方式写出

import csv
import time
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import pandas as pd
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.wait import WebDriverWait

"""
1.使用selenium打开BOSS直聘，模拟浏览器执行筛选条件切换工作
2.切换城市为北京
3.搜索python相关工作
4.爬4页
5.保存数据到本地txt、json、csv或数据库mysql、redis、mongodb
"""

if __name__=='__main__':
    # 1.实例化浏览器对象
    chrome_obj = webdriver.Chrome()
    # 2.最大化浏览器对象
    chrome_obj.maximize_window()
    # 3.获取网页
    chrome_obj.get('https://www.zhipin.com/shanghai/?ka=city-sites-101020100')
    # 4.切换招聘城市
    city_button = chrome_obj.find_element(By.XPATH, '//*[@id="header"]/div[1]/div[2]/p/span[1]').click()
    # city_button = chrome_obj.find_element_by_class_name('nav-city-selected').click()
    time.sleep