2024年用scrapy爬取BOSS直聘的操作

已于 2024-10-25 11:02:18 修改
阅读量2.5k 收藏 33
点赞数 21
文章标签： scrapy 爬虫 python
于 2024-07-03 19:58:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elderingezez/article/details/140161145
版权

SCrapy框架实现对BOSS直聘的爬取

文章目录

对SCrapy框架的一个简单认识

在这里插入图片描述

Scrapy 组件的作用

  1. Engine（引擎）：负责控制系统所有组件之间的数据流，并在发生某些操作时触发事件。它是整个爬虫的核心。

  2. Scheduler（调度器）：接收引擎的请求，对请求去重并放入队列中。当引擎请求新的请求时，将队列中的请求按顺序返回给引擎。

  3. Downloader（下载器）：负责获取网页数据并将其返回给引擎，引擎再将数据传给 Spiders（爬虫）。

  4. Spiders（爬虫）：解析响应，从中提取出 Items（项目）和新的 Requests（请求）。

  5. Item Pipeline（项目管道）：处理爬虫提取的项目，包括清理、验证和存储项目。

  6. Downloader middlewares（下载器中间件）：处理从引擎到下载器的请求和从下载器到引擎的响应，用于在这些过程中修改或替换请求和响应。

  7. Spider middlewares（爬虫中间件）：处理爬虫的输入（响应）和输出（项目和请求），可以对这些数据进行修改、添加或删除。

Scrapy 数据流

  1. 初始请求：

    • Scrapy 会实例化一个 Crawler 对象，在该对象中创建 Spider 对象和 Engine 对象。
    • 通过 Engine 对象打开 Spider，并生成第一个 request（请求）。

  2. 请求处理流程：

    • 步骤 1：Engine 从 Spiders 获取初始请求。
    • 步骤 2：Engine 把请求给调度器，并询问下一次请求。
    • 步骤 3：Scheduler 对 URL 去重，放到队列中等待，并把下一个 request 返回给 Engine。
    • 步骤 4：Engine 把从调度器返回的 request 经过下载中间件交给下载器。
    • 步骤 5：Downloader 下载页面后生成一个 Response（响应），并通过下载器中间件将其发送到 Engine。
    • 步骤 6：Engine 接收响应，并通过爬虫中间件将其发送到爬虫进行处理。
    • 步骤 7：爬虫接收到响应，解析处理响应，提取出 Items 和 新的 Requests，再通过爬虫中间件提交给 Engine。
    • 步骤 8：Engine 把接收到的 Items 提交给 Item Pipeline，把接收到的 Requests 提交给调度器。

  3. 重复过程：

    • 重复上述步骤，直到 Scheduler 中没有请求为止。

拿到一个网站爬取需求首先需要进行分析网站的反爬措施，再根据反爬漏洞想到对应的解决方法

1. 测试反爬

import time
from random import randint, choice
import requests

url = 'https://ja.58.com/job.shtml?utm_source=sem-baidu-pc&spm=u-2few7p4vh988mb62t1.2few8w827wgt4eurg.kd_201345177084.cr_43861026238.ac_20304970.cd_11302497077865040299'

user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36 Edg/125.0.0.0',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.0.0',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.0.0 Safari/537.36 Edg/100.0.0.0'
]

headers = {
    'User-Agent': choice(user_agents)
}

response = requests.get(url=url, headers=headers)

with open('test.html', 'w', encoding='utf-8') as f:
    f.write(response.text)

# 随机延时 1 到 5 秒
time.sleep(randint(1, 5))

在这里插入图片描述

可知直接爬取会被屏蔽，但是正常打开没有问题

在这里插入图片描述

因此想到用来selenium库来进行打开操作同时获取cookie保存

 def getcookie(self, url, cookies):
        driver = webdriver.Chrome()
        driver.get(url)
        time.sleep(6)
        dict_cookies = driver.get_cookies()
        json_cookies = json.dumps(dict_cookies)
        with open(cookies, "w") as fp:
            fp.write(json_cookies)
            print('Cookies保存成功！')
        driver.quit()
def load_cookies(self):
        with open(self.cookie_file, "r") as fp:
            cookies = json.load(fp)
        for cookie in cookies:
            if 'domain' in cookie:
                del cookie['domain']
            self.driver.add_cookie(cookie)

2. 定义一个下载中间件类,截取spiders的请求（中间件直接截取请求，并且返回给Spider进行数据解析）

class SeleniumMiddleware:
    query = ""
    city_id = ""

    def __init__(self):
        self.cookie_file = 'boss_cookies.json'
        # 检查文件是否存在，如果不存在则创建一个空文件
        if not os.path.exists(self.cookie_file):
            with open(self.cookie_file, 'w') as f:
                pass
        self.getcookie('https://www.zhipin.com/web/geek/job-recommend', self.cookie_file)
        self.driver = webdriver.Chrome()

    def getcookie(self, url, cookies):
		#此处省略
    def load_cookies(self):
		#此处省略

    def process_request(self, request, spider):
        try:
            if request.meta.get('first_request', True):
                qe = input('请搜索岗位和城市id(空格隔开):').split(' ')
                self.query = qe[0]
                self.city_id = qe[1]
                target_url = f"https://www.zhipin.com/web/geek/job?query={self.query}&city={self.city_id}&page=1"
                q: str = self.query
                c = self.city_id
                request.meta['first_request'] = False
            else:
                page = int(request.meta.get('page_number'))
                target_url = f"https://www.zhipin.com/web/geek/job?query={self.query}&city={self.city_id}&page={page}"
            print(f"Fetching URL: {target_url}")
            self.driver.get(target_url)
            self.load_cookies()
            self.driver.refresh()

            WebDriverWait(self.driver, 20).until(
                EC.presence_of_element_located((By.CLASS_NAME, "job-card-wrapper"))
            )

            data = self.driver.page_source
            return HtmlResponse(url=request.url, body=data, encoding='utf-8', request=request)
        except Exception as e:
            print(f"An error occurred: {e}")
            return HtmlResponse(url=request.url, status=500, request=request)

    def __del__(self):
        if self.driver:
            self.driver.quit()

请求代码

  WebDriverWait(self.driver, 20).until(
                EC.presence_of_element_located((By.CLASS_NAME, "job-card-wrapper"))
            )

因为boss直聘具有反爬操作，很多时候能够检测出来不是正常用户，需要用该方法反复进行请求操作直到html页面中能够获取我们想要的标签内容(这个标签下的很多数据都是我们需要进行爬取操作的数据)

数据解析操作

使用Xpath来进行，同时对空数据进行处理

import scrapy
from ..items import BossItem


class BossSpider(scrapy.Spider):
    name = "boss"
    allowed_domains = ["www.zhipin.com"]
    start_urls = ["https://www.zhipin.com/"]
    page = 1

    def parse(self, response):
        with open('test.html', 'w', encoding='utf-8') as f:
            f.write(response.text)

        # 改进的XPath表达式
        li_list = response.xpath('//li[@class="job-card-wrapper"]')
        print(f"Number of items found: {len(li_list)}===============================================")

        for li in li_list:
            title = li.xpath(".//span[@class='job-name']/text()").extract_first() or ''
            salary = li.xpath(".//span[@class='salary']/text()").extract_first() or ''
            area = li.xpath(".//span[@class='job-area']/text()").extract_first() or ''

            # 确保提取job_lable_list的正确性
            job_lable_list = li.xpath(".//ul[@class='tag-list']//text()").extract()
            if len(job_lable_list) >= 2:
                experience = job_lable_list[0] or ''
                education = job_lable_list[1] or ''
            else:
                experience = ''
                education = ''

            company = li.xpath(".//h3[@class='company-name']/a/text()").extract_first() or ''

            # 确保提取company_message的正确性
            company_message = li.xpath(".//ul[@class='company-tag-list']//text()").extract()
            company_type = company_message[0] if company_message else ''

            # 提取boon字段
            boon = li.xpath('.//div[@class="job_card_footer"]//div[@class="info-desc"]/text()').extract()
            boon = boon[0] if boon else None
            # 技能
            skill_list = li.xpath(
                ".//div[@class='job-card-footer clearfix']//ul[@class='tag-list']/li/text()").extract() or []
            skill = "|".join(skill_list)
            # 创建BossItem对象并传递数据
            book = BossItem(
                title=title,
                address=area,
                salary=salary,
                experience=experience,
                education=education,
                company=company,
                companyType=company_type,
                skill_list=skill,
            )
            yield book

        if self.page < 10:
            self.page += 1
            next_url = f"https://www.zhipin.com/web/geek/job?query=java&city=101210100&page={self.page}"
            yield scrapy.Request(
                url=next_url,
                callback=self.parse,
                meta={'page_number': self.page, 'first_request': False}
            )

spider/boss.py中代码的注意事项

        if self.page < 10:
            self.page += 1
            next_url = f"https://www.zhipin.com/web/geek/job?query=java&city=101210100&page={self.page}"
            yield scrapy.Request(
                url=next_url,
                callback=self.parse,
                meta={'page_number': self.page, 'first_request': False}
            )

注意:此代码next_url传过去不会真正的被下载器中间件处理，而是为了防止不报错而进行的(不知道哪错了)

中间件部分代码

 if request.meta.get('first_request', True):
                qe = input('请搜索岗位和城市id(空格隔开):').split(' ')
                self.query = qe[0]
                self.city_id = qe[1]
                target_url = f"https://www.zhipin.com/web/geek/job?query={self.query}&city={self.city_id}&page=1"
                q: str = self.query
                c = self.city_id
                request.meta['first_request'] = False
            else:
                page = int(request.meta.get('page_number'))
                target_url = f"https://www.zhipin.com/web/geek/job?query={self.query}&city={self.city_id}&page={page}"

由于csdn下载代码需要开启vip具体代码实现可以访问我的github:

最新BOSS直聘爬取以及其他常见网站爬取 (github.com)

elderingezez
关注
用Scrapy爬取Boss直聘网站信息
Qzh_bc的博客
05-09 1304
在当今的招聘市场中，数据成为企业决策和个人求职的重要依据。Boss直聘作为国内知名的在线招聘网站，其海量的职位信息为求职者提供了丰富的选择，同时也为企业招聘提供了便利。这篇文章是个简单用scrapy爬取Boss直聘的网站信息的文章，其中可能出现一些不合理的地方或错误，希望对你们有所帮助。Scrapy是一个基于Python的开源网络爬虫框架，提供了简单、高效的API来下载和解析网页数据。Scrapy不仅能够处理大规模的网页数据，还提供了多种输出方式，如CSV等，方便后续处理和分析。
Python爬虫框架Scrapy实战 - 抓取BOSS直聘招聘信息
jtahstu的专栏
12-11 4944
详情链接：http://www.jtahstu.com/blog/scrapy_zhipin_spider.html零、开发环境 MacBook Pro (13-inch, 2016, Two Thunderbolt 3 ports) CPU : 2 GHz Intel Core i5 RAM : 8 GB 1867 MHz LPDDR3 Python : Python 3.6.3 [GCC 4.2
python爬取boss直聘
最新发布
Jamam的博客
03-17 288
后期会持续更新突破访问量限制、反爬等的方法。pyecharts官方文档。
使用Python爬取Boss直聘的招聘数据并进行数据分析
qq_63021160的博客
11-06 3591
Boss直聘是一款备受欢迎的招聘平台，提供了丰富的岗位信息。对于数据分析人员或技术爱好者而言，通过爬虫技术获取这些数据可以深化我们对市场需求的洞察。本次爬虫项目采用Python的Selenium库，通过模拟浏览器自动化操作来抓取Boss直聘上的招聘信息。随后，我们利用pandas、matplotlib和pyecharts等库对数据进行清洗、处理和可视化分析，最终生成一系列图表，从不同城市、公司规模、学历要求等多个维度对职位数据进行深入解读。
爬取boss直聘数据并分析
weixin_55018995的博客
05-16 9980
爬取boss直聘数据并进行分析 1. 爬取boss直聘数据 因为高匿的代理IP要钱，所以小编只能通过增大时间间隔并利用selenium自动化库模拟人自然浏览网站来爬取数，最终获得北京，上海，杭州，广州，深圳，长沙城市招聘3-5年工作经验的数据分析师，数据挖掘师，数据架构师，Al工程师的信息，保存文件为大数据招聘信息.xls.（最好利用手机热点的ip地址来进行爬取，因为就算封了ip，将手机重启ip地址会改变，可以重复爬取） from selenium import webdriver #自动打开网页获取
使用 Scrapy 和 Selenium 爬取 Boss 直聘职位信息（可视化结果）
yaokk1的博客
01-11 5568
在这个示例中，我们将创建一个 Scrapy 爬虫，使用 Selenium 来模拟浏览器操作，以抓取 Boss 直聘网站上特定城市的 Python 职位信息。我们将获取职位名称、工资、福利、地区、招聘类型、学历要求、关键词、详细要求、公司名称、是否上市、公司规模、所属行业、公司介绍、详细地址、HR 姓名和职位的信息。以下是实现这一目标的详细步骤。
爬取boss直聘“数据分析”工作
qq_34764206的博客
02-18 6311
爬取boss直聘数据1 1、背景：面临工作，需要数据支持，看到各大数据源（天池、和鲸社区…），萌生一种自己爬取数据分析工作的信息，将数分融入进找工作的环节中，利用数据分析来分析当前数据分析就业环境，就业前景，以及提高找工作的效率。 2、使用工具：python3.10，sublimeText3 3、工作任务： A:获取数据 B:保存数据 C:清理数据集 4、开始任务： 4.1 安装python3，sublimeText3环境，安装所需pip插件和类库 4.2 新建boss.py文件 #!/usr/bin/e
python爬取boss直聘数据(selenium+xpath)
热门推荐
qq_54388490的博客
10-14 1万+
不知道是boss反爬做的太好，还是我个人太菜(哭~)我个人倾向于第二种这个爬虫还有很多很多的不足之处，比如在页面加载的时候，boss的页面会多次加载(这里我很是不理解，我明明只访问了一次，但是他能加载好多次)，这就导致是不是ip就会被封…再比如，那个下一页的点击按钮，一直点不了，不知有没有路过的大佬指点一二(呜呜呜~）# 下一页标签定位 ui-icon-arrow-right# # 点击指定的标签# # 释放动作链总之boss的信息爬取，我还是无法做到完全自动化😭。
【2024最新】快速爬取Boss直聘职位信息
FLK_9090的博客
03-09 1万+
在如今竞争激烈的就业市场，了解最新的职位信息是成功找到理想工作的关键。而Boss直聘作为国内领先的招聘平台，拥有海量的职位信息。本教程将带您一步步学习如何使用爬虫技术，快速、高效地爬取Boss直聘上的职位信息。通过本教程，您将学会使用Python编写爬虫程序，快速爬取Boss直聘的职位信息。希望本教程能够帮助到您，顺利找到理想的工作！（注意：在进行任何爬取操作时，请遵守相关法律法规和网站的使用规定，避免对目标网站造成不必要的影响。本教程仅供学习和技术交流使用。
用Scrapy精准爬取BOSS直聘特定行业职位
Z_suger7的博客
01-09 1825
在items.pypythonjob_name = scrapy.Field() # 职位名称salary = scrapy.Field() # 薪资范围company_name = scrapy.Field() # 公司名称city = scrapy.Field() # 工作城市experience = scrapy.Field() # 工作经验要求education = scrapy.Field() # 学历要求。
Boss直聘招聘信息爬取
01-20
利用selenium进行爬取，数据为CSV文件 编写时间：2020年03月16日（若爬取失败，应该是网站更新造成的。） from selenium import webdriver from selenium.webdriver.chrome.options import Options import time from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0
Python-Boss直聘Python招聘岗位信息爬取和分析
08-10
Python-Boss直聘Python招聘岗位信息爬取和分析
Scrapy框架爬取Boss直聘网Python职位信息的
12-25
分析 使用CrawlSpider结合LinkExtractor和Rule爬取网页信息 LinkExtractor用于定义链接提取规则，一般使用allow参数即可 LinkExtractor(allow=(), # 使用正则定义提取规则 deny=(), # 排除规则 allow_domains=(), # 限定域名范围 deny_domains=(), # 排除域名范围 restrict_xpaths=(), # 使用xpath定义提取队则 tags=('a', 'area'), attrs=('href',
爬虫项目——Scrapy爬取Boss直聘
weixin_42836351的博客
09-19 4605
Scrapy添加代理爬取boss直聘，并存储到mongodb项目创建itemsSpiderMiddleware_ip代理Pipeline_mongodb存储最终爬取截图 项目创建 本项目使用的是Windows系统下的Pycharm平台，Python版本为3.6 使用scrapy startproject scrapy_boss创建scrapy项目 items from scrapy import ...
scrapy爬取boss直聘
04-07
当使用Scrapy爬取Boss直聘的职位信息时，需要注意以下几个问题： 1. Boss直聘有反爬虫机制，需要设置合适的请求头、IP代理等反爬虫策略，以避免被封禁。 2. 需要登录才能查看完整的职位信息，可以通过模拟登录或...
scrapy实战一：爬取boss直聘信息，存入mysql数据库
a2639491403的博客
06-03 1801
scrapy版本：1.5python版本：3.6系统：windows网站链接： www.zhipin.com1 创建项目CTRL+R 输入cmd打开DOS窗口，输入如下命令创建项目（可自定义项目位置）scrapy startproject job_demo 从图片中可以看到，你可以进入你的项目然后创建你的spidercd Job_demo新建spider蜘蛛scrapy genspider j...
【爬虫】实战1-爬取Boss直聘信息数据
享你所想
03-19 3142
由于网址（域名+参数），域名不会变，参数可能会随着页面的变化而变化。可以看到当重新翻到第一页的时候网址发生了变化，第一页用这个网址即可。我们可以切换不同的页码并将网址赋值粘贴下来（一般3-4个即可）可以看到只有page参数有变化，显然page参数对应的是页码数。我们直接用浏览器网网址输入框中的网址即可。（自动定位所在地点，我是南京）可以看到网址也发生了改变。注意最后再重新翻到第一页。
2024最新boss直聘岗位数据爬虫，并进行可视化分析
weixin_44765053的博客
06-30 3295
通过以上步骤，我们成功地使用DrissionPage实现了从BOSS直聘爬取岗位数据，并进行了基本的数据清洗和可视化分析。这为我们进一步的深入分析和研究提供了基础数据。希望本文能对读者有所帮助，并激发您在数据科学和爬虫技术方面的兴趣。以上对您有帮助的话麻烦三连哦~t=N7T8BOSS直聘https://www.zhipin.com/web/geek/job?
基于scrapy爬取boss直聘
12-30
### 使用Scrapy框架爬取Boss直聘网站信息 #### 准备工作 为了成功利用Scrapy框架爬取Boss直聘网站的信息，需先安装并配置好Python环境以及Scrapy库。确保已正确安装Scrapy版本，并熟悉基本命令操作。 #### 创建项目结构 启动一个新的Scrapy项目用于处理此次任务： ```bash scrapy startproject boss_zhipin_spider cd boss_zhipin_spider ``` 接着，在`spiders`文件夹内新建具体的Spider类来定义目标网页的解析逻辑[^3]。 #### 设置请求头 由于现代Web应用通常会检测访问者的User-Agent等HTTP头部字段以防止自动化工具滥用API接口或模拟浏览器行为不当，因此建议在项目的`settings.py`里适当调整默认发送出去的Headers参数，使其更接近真实用户的浏览习惯[^4]: ```python USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 3 CONCURRENT_REQUESTS_PER_DOMAIN = 8 COOKIES_ENABLED = True DEFAULT_REQUEST_HEADERS = { 'Accept': '*/*', 'Connection': 'keep-alive', } ``` 这里设置了较为通用的浏览器标识符(User Agent)，关闭了对robots.txt规则集的遵循(因为某些站点可能会阻止爬虫活动),增加了下载延迟时间减少服务器压力，限制同一域名下的并发请求数量保护资源不被过度占用，启用了Cookie支持以便维持登录状态或其他依赖于Session机制的功能正常运作。 #### 编写爬虫代码 下面给出一个简单的例子展示如何编写针对特定页面类型的Spider脚本: ```python import scrapy from ..items import BossZhipinItem class JobSpider(scrapy.Spider): name = "jobs" allowed_domains = ["www.zhipin.com"] start_urls = ['https://www.zhipin.com/job_detail/?query=Python&city=101010100'] def parse(self, response): items = [] for sel in response.xpath('//div[@class="job-list"]/ul/li'): item = BossZhipinItem() try: item['title'] = sel.css('a::attr(title)').get().strip() item['salary'] = sel.xpath('.//span[@class="red"]//text()').extract_first('').strip() item['company_name'] = sel.css('.info-company .name a::attr(title)').get().strip() yield item except AttributeError as e: continue next_page_url = response.css('a.next::attr(href)').get() if next_page_url is not None: yield scrapy.Request(response.urljoin(next_page_url)) ``` 上述代码片段实现了对于给定URL列表中的每一页进行遍历读取，并提取出所需的关键属性保存到自定义的数据容器(`BossZhipinItem`)当中；同时还会尝试获取下一页链接继续深入挖掘更多记录直到全部完成为止[^1]。 #### 数据存储 最后一步就是考虑怎样持久化收集来的资料了。可以采用多种方式实现这一点，比如直接打印输出至控制台、导出JSON/XML文档形式或是接入关系型数据库管理系统(MySQL为例)。具体做法取决于实际应用场景和个人偏好。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值