selenium爬取拉勾网职位招聘信息

最新推荐文章于 2022-01-01 22:11:48 发布

迷路的贝壳儿

最新推荐文章于 2022-01-01 22:11:48 发布

阅读量475

点赞数 1

分类专栏：爬虫文章标签： selenium爬取拉勾招聘信息

本文链接：https://blog.csdn.net/weixin_39218107/article/details/100701429

版权

本文介绍如何利用Selenium库自动化浏览拉勾网，并爬取最新的职位招聘信息，包括职位名称、公司名、薪资等关键信息。

摘要由CSDN通过智能技术生成

selenium爬取拉勾网职位招聘信息

# encoding:utf-8

from selenium import webdriver
from lxml import etree
from pyquery import PyQuery as pq
# 引入显式等待
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

from selenium.webdriver.common.by import By

import time


class LagouSpider(object):
    driver_path = r'D:\chromedriver\chromedriver.exe'

    def __init__(self):
        self.driver = webdriver.Chrome(executable_path=self.driver_path)
        self.url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
        self.positions = []

    def run(self):
        '''
        程序开始函数
        :return:
        '''
        self.driver.get(self.url)
        while True:
            source = self.driver.page_source
            self.parse_list_page(source)
            # 显示等待，直到指定的元素被加载成功，若没有加载成功超过指定的时间