Python爬取Boss直聘，帮你获取全国各类职业薪酬榜，附大厂真题面经

最新推荐文章于 2024-09-20 20:19:13 发布
最新推荐文章于 2024-09-20 20:19:13 发布
阅读量1.1k 收藏 20
点赞数 11
分类专栏： 2024年程序员学习 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ccc6553584/article/details/137153124
版权

所以解析到的原始数据如下：

在这里插入图片描述

先来看看python的薪酬榜：

在这里插入图片描述

看一下西安的排位，薪资平均真的好低…

代码

import requests

from bs4 import BeautifulSoup

import csv

import random

import time

import argparse

from pyecharts.charts import Line

import pandas as pd

class BossCrawler:

def init(self, query):

self.query = query

self.filename = ‘boss_info_%s.csv’ % self.query

self.city_code_list = self.get_city()

self.boss_info_list = []

self.csv_header = [“city”, “profession”, “salary”, “company”]

@staticmethod

def getheaders():

user_list = [

“Opera/9.80 (X11; Linux i686; Ubuntu/14.10) Presto/2.12.388 Version/12.16”,

“Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14”,

“Mozilla/5.0 (Windows NT 6.0; rv:2.0) Gecko/20100101 Firefox/4.0 Opera 12.14”,

“Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0) Opera 12.14”,

“Opera/12.80 (Windows NT 5.1; U; en) Presto/2.10.289 Version/12.02”,

“Opera/9.80 (Windows NT 6.1; U; es-ES) Presto/2.9.181 Version/12.00”,

“Opera/9.80 (Windows NT 5.1; U; zh-sg) Presto/2.9.181 Version/12.00”,

“Opera/12.0(Windows NT 5.2;U;en)Presto/22.9.168 Version/12.00”,

“Opera/12.0(Windows NT 5.1;U;en)Presto/22.9.168 Version/12.00”,

“Mozilla/5.0 (Windows NT 5.1) Gecko/20100101 Firefox/14.0 Opera/12.0”,

“Opera/9.80 (Windows NT 6.1; WOW64; U; pt) Presto/2.10.229 Version/11.62”,

“Opera/9.80 (Windows NT 6.0; U; pl) Presto/2.10.229 Version/11.62”,

“Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52”,

“Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; de) Presto/2.9.168 Version/11.52”,

“Opera/9.80 (Windows NT 5.1; U; en) Presto/2.9.168 Version/11.51”,

“Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; de) Opera 11.51”,

“Opera/9.80 (X11; Linux x86_64; U; fr) Presto/2.9.168 Version/11.50”,

“Opera/9.80 (X11; Linux i686; U; hu) Presto/2.9.168 Version/11.50”,

“Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11”,

“Opera/9.80 (X11; Linux i686; U; es-ES) Presto/2.8.131 Version/11.11”,

“Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/5.0 Opera 11.11”,

“Opera/9.80 (X11; Linux x86_64; U; bg) Presto/2.8.131 Version/11.10”,

“Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10”,

“Opera/9.80 (Windows NT 5.1; U; zh-tw) Presto/2.8.131 Version/11.10”,

“Opera/9.80 (Windows NT 6.1; Opera Tablet/15165; U; en) Presto/2.8.149 Version/11.1”,

“Opera/9.80 (X11; Linux x86_64; U; Ubuntu/10.10 (maverick); pl) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (X11; Linux i686; U; ja) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (X11; Linux i686; U; fr) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 6.1; U; zh-tw) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 6.1; U; sv) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 6.1; U; en-US) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 6.1; U; cs) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 6.0; U; pl) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 5.2; U; ru) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 5.1; U;) Presto/2.7.62 Version/11.01”,

“Opera/9.80 (Windows NT 5.1; U; cs) Presto/2.7.62 Version/11.01”,

“Mozilla/5.0 (Windows NT 6.1; U; nl; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 Opera 11.01”,

“Mozilla/5.0 (Windows NT 6.1; U; de; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 Opera 11.01”,

“Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; de) Opera 11.01”,

“Opera/9.80 (X11; Linux x86_64; U; pl) Presto/2.7.62 Version/11.00”,

“Opera/9.80 (X11; Linux i686; U; it) Presto/2.7.62 Version/11.00”,

“Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.6.37 Version/11.00”,

“Opera/9.80 (Windows NT 6.1; U; pl) Presto/2.7.62 Version/11.00”,

“Opera/9.80 (Windows NT 6.1; U; ko) Presto/2.7.62 Version/11.00”,

“Opera/9.80 (Windows NT 6.1; U; fi) Presto/2.7.62 Version/11.00”,

“Opera/9.80 (Windows NT 6.1; U; en-GB) Presto/2.7.62 Version/11.00”,

“Opera/9.80 (Windows NT 6.1 x64; U; en) Presto/2.7.62 Version/11.00”,

“Opera/9.80 (Windows NT 6.0; U; en) Presto/2.7.39 Version/11.00”

]

user_agent = random.choice(user_list)

headers = {‘User-Agent’: user_agent}

return headers

def get_city(self):

headers = self.getheaders()

r = requests.get(“http://www.zhipin.com/wapi/zpCommon/data/city.json”, headers=headers)

data = r.json()

return [city[‘code’] for city in data[‘zpData’][‘hotCityList’][1:]]

def get_response(self, url, params=None):

headers = self.getheaders()

r = requests.get(url, headers=headers, params=params)

r.encoding = ‘utf-8’

soup = BeautifulSoup(r.text, “lxml”)

return soup

def get_url(self):

for city_code in self.city_code_list:

url = “https://www.zhipin.com/c%s/” % city_code

self.per_page_info(url)

time.sleep(10)

def per_page_info(self, url):

for page_num in range(1, 11):

params = {“query”: self.query, “page”: page_num}

soup = self.get_response(url, params)

lines = soup.find(‘div’, class_=‘job-list’).select(‘ul > li’)

if not lines:

代表没有数据了，换下一个城市

return

for line in lines:

info_primary = line.find(‘div’, class_=“info-primary”)

city = info_primary.find(‘p’).text.split(’ ')[0]

job = info_primary.find(‘div’, class_=“job-title”).text

过滤答非所谓的招聘信息

if self.query.lower() not in job.lower():

continue

salary = info_primary.find(‘span’, class_=“red”).text.split(‘-’)[0].replace(‘K’, ‘’)

company = line.find(‘div’, class_=“info-company”).find(‘a’).text.lower()

result = dict(zip(self.csv_header, [city, job, salary, company]))

print(result)

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
img
img



既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）
img

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！img

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

img

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述

a0d6186c1.png)

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述
36氪（36Kr）频道首页
关注
专栏目录
爬取boss直聘招聘信息
majiexiong的博客
08-22 1301
直接上主代码 from bs4 import BeautifulSoup import requests import ip_proxy from urllib import parse headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like...
Python爬取食品商务网，获取各类食品价格以及涨跌趋势，一个三非渣本的Python校招秋招之路
2401_83621004的博客
03-21 694
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Boss直聘招聘信息爬取
01-20
利用selenium进行爬取，数据为CSV文件 编写时间：2020年03月16日（若爬取失败，应该是网站更新造成的。） from selenium import webdriver from selenium.webdriver.chrome.options import Options import time from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0
爬虫之爬取Boss直聘
spiderfu的博客
12-09 9930
爬取Boss直聘主要有以下难点： 在不登陆的情况下最多爬十页就会出现手动打码验证 出现大概五六次手动打码后就会封禁ip地址，封禁1天的时间 解决办法 1、切换ip 这里我尝试过很多收费代理，免费代理，几乎都骗不过去，建议不要用。 可以采用连接手机wifi的方式，手机开热点，当封禁ip时将手机调成飞行模式，再关掉。这时会给你重新分配一个ip地址，就可以继续了。 2、登录 当你爬取的数据很多时，不可能一直看着开飞行模式，太浪费时间，因此可以采取登录的方式。 登录获取cookies 在网页登录账号，拿到coo
基于Python的BOSS直聘Python岗位数据分析
最新发布
gitblog_06593的博客
09-20 997
基于Python的BOSS直聘Python岗位数据分析 基于Python的BOSS直聘Python岗位数据分析 项目地址: https://gitcode.com/Resource-Bundle-Collection/01fbf...
爬取Boss直聘招聘信息（保存Excel\生成词云）
qq_30414059的博客
05-29 860
爬取Boss直聘招聘信息（保存Excel\生成词云）一、目的：二、步骤1. 新建maven项目2. 导入相关依赖3. 相关类创建4. 运行结果5. 生成技术云图 一、目的： 获取java相关岗位的招聘信息 导出招聘信息到excel表 将招聘信息的技术要求生成词云 二、步骤 1. 新建maven项目 2. 导入相关依赖 <!-- 处理html相关 --> <dependency> <groupId>org.jsoup</groupI
Selenium 爬取百聘,BOSS直聘
rmxob的博客
09-12 701
什么是selenium Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。 用selenium 模拟浏览器进行操作，能有效的反反爬虫。 这里用selenium+chrome爬取百聘和boss直聘。 爬取BOSS直聘 完整代码： import json import time #时间模块，主要是用.sleep防止访问过快导致ip被封 import xlrd #操作excel模块 import xlwt from selenium im
CycleGAN详解与实现（采用tensorflow2，附大厂真题面经
2301_77118221的博客
03-23 1018
前向循环是 x ′ = F ( G ( x ) ) x’=F(G(x)) x′=F(G(x))= reco_source = g_source(g_target(source_input))。反向循环是 y ′ = G ( F ( y ) ) y’=G(F(y)) y′=G(F(y))= reco_target = g_target(g_source(target_input))。理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
50行python代码自动生成文章(1)，2024Python大厂面试真题
m0_60635001的博客
04-21 608
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Swin Transformer实战： timm使用、Mixup，附大厂真题面经
03-23 511
ACC = 0。
2024年Python最新PyQt5 GUI：百度图片下载器（文末附源码），2024年最新2024年上半年最接地气的Python面经
m0_60575487的博客
05-04 807
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化学习资料的朋友，可以戳这里获取。
python爬取boos直聘python招聘信息
09-17
python爬虫的一个练习，
Python-Boss直聘Python招聘岗位信息爬取和分析
08-10
Python-Boss直聘Python招聘岗位信息爬取和分析
python网络爬虫爬取Boss直聘代码
07-24
python网络爬虫，爬取Boss直聘网招聘信息，可输入城市和职位进行爬取，默认学历为本科可以修改
爬取boss直聘“数据分析”工作
qq_34764206的博客
02-18 6007
爬取boss直聘数据1 1、背景：面临工作，需要数据支持，看到各大数据源（天池、和鲸社区…），萌生一种自己爬取数据分析工作的信息，将数分融入进找工作的环节中，利用数据分析来分析当前数据分析就业环境，就业前景，以及提高找工作的效率。 2、使用工具：python3.10，sublimeText3 3、工作任务： A:获取数据 B:保存数据 C:清理数据集 4、开始任务： 4.1 安装python3，sublimeText3环境，安装所需pip插件和类库 4.2 新建boss.py文件 #!/usr/bin/e
爬取Boss直聘网站，获取岗位信息
weixin_62367563的博客
06-21 857
注意：当短时间内爬取次数太多，会访问不了，这时需要更换Cookie， 你也可以使用time.sleep()来降低爬虫时间，来保证不会认为是爬重。其中只有encryptJobId、lid、securityId在变化，所以在此页面只需要获取到这几个值，就可以得到该页面的所以岗位的url。我们发现有很多的岗位，接下来分析网页，右击网页，点击检查或者按F12，选择network或者是网络，找到下图所示位置。我们需要的岗位名称、岗位薪资、岗位描述、以及岗位职责。这是Boss直聘网站的首页。
python爬取boss直聘招聘信息
m0_37769487的博客
06-05 1453
这个时候，单击任意一个职位进去后，会发现请求的连接里面有一个职位id，与上一步的接口返回的数据里面保持一致。通过搜索功能，获取搜索的url，请求搜索URL后，获取对应公司的职位信息列表，再通过职位信息列表构造职位信息的完整URL，进而请求获取职位信息详情。上一步中，拿到了公司url后，使用浏览器请求后，能发现公司正在招聘的职位详情，包括职位名称，职位要求，技能描述等。所以通过上一步的接口数据的解析，获取到职位id后，再进行url的拼接，获取到完整的职位信息链接后，再使用。最后就是解析接口返回的数据。
python爬取boss直聘爬取具体信息
大曹的博客
11-05 2786
Python原生态代码爬取boss直聘 首先看一下思路 首先通过这个页面拿取到所有的详细页面的url，需要判断是否存在下一页 拿到所有的url之后呢，再对每一个详细页面的进行抓取重要的信息。 但是在这个过程中间，ip有可能就会被封，所以说需要搭建代理ip池，这个我用的讯代理，做的代理池，思路是 崔庆才当年写的那本书。代理更换，我选择人为固定，这块我使用的是当使用了5次之后，就更换代理ip，当然...
Boss 直聘数据岗招聘信息爬取（一）
Earl
09-08 2557
爬取思路 由于Boss直聘搜索职位不需要登陆，所以不涉及模拟登陆、cookies的问题，但是由于他会对同一时间访问过于频繁的ip进行验证，故而需要使用ip池。 整理思路大致如下： 1.使用ip池ip，boss首页搜索关键词，得到职位列表 2.根据职位列表中的url，分别爬取每个职位的详细数据 3.将爬取信息保存在mongo数据库内 网页代码分析 首先进入Boss直聘官网，搜索关键词“数据”，如图所...
python爬取boss直聘全国python开发岗位
02-01
要爬取Boss直聘全国的Python开发岗位，你可以使用Python的爬虫库来实现。以下是一个简单的示例代码，可以帮助你开始： ```python import requests import json def get_job_list(): url = '...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值