BOSS直聘上java岗位的薪资分析

最新推荐文章于 2024-07-28 19:41:52 发布

Python风控模型与数据分析

最新推荐文章于 2024-07-28 19:41:52 发布

阅读量871

点赞数 25

分类专栏：数据分析文章标签： java python 开发语言

本文链接：https://blog.csdn.net/a7303349/article/details/135335414

版权

数据分析专栏收录该内容

10 篇文章 0 订阅

订阅专栏

有点停不下来，又爬取了一下BOSS直聘上base北京的java岗位的相关数据，本文简单分析拿给大家做参考，整体来看还得是算法薪资更高一些、但是看top待遇java岗位也是相当高。

在PC端上打开BOSS直聘网页搜索java，只会显示10页岗位（每页30条），所以我按照工作经验要求对应届生、 1年以内、 1-3年、 3-5年、 5-10年、 10年以上分别爬取数据，总共1594条（其中3-5年经验要求的搜出来只有4页-94条、不知道为什么）。

一、数据介绍及预处理

1、数据介绍

数据包括职位名称、base地点、薪资水平、经验及学历要求、招聘公司、行业、融资阶段、员工规模等文末获取数据集

2、数据预处理

（1）数据筛选

由于BOSS直聘上搜索java岗位的结果中，包含一些项目经理、算法等其他岗位，但是由于数量较少、同时java岗位技能要求比较综合，所以这部分不进行数据筛选

文章主题是对薪资进行分析，所以把面议的两条剔除

（2）数据分割提取

在job_area中包括市、行政区、乡镇三级地址，tag_list中包含经验要求、学历要求，company_tag_list中包含行业、融资阶段、员工规模，所以结合split方法、正则表达式分别进行数据提取。

import re
def get_industry(string):
    try:
        result=re.findall('(.*?)[0-9].*[0-9].*',string)[0]
        l=['已上市','不需要融资','未融资','天使轮','A轮','B轮','C轮','D轮及以上']
        for s in l:
            result=result.replace(s,'')
        return result
    except:
        return None

def get_scale(string):
    try:
        result=re.findall('([0-9].*[0-9].*)',string)[0]
        l=['已上市','不需要融资','未融资','天使轮','A轮','B轮','C轮','D轮及以上']
        for s in l:
            if s in result:
                result=result.split(s)[1]
        return result
    except:
        return None
    
def dat_pred(data):
    df=data[~data.salary.str.contains('面议')].copy()
    df['district']=df.job_area.str.split('·').str[1]
    df['town']=df.job_area.str.split('·').str[2]
    
    df['experience']=df.tag_list.str.split('\\n').str[0]
    df['education']=df.tag_list.str.split('\\n').str[1]
    
    df['industry']=df.company_tag_list.apply(get_industry)
#     df['scale']=df.company_tag_list.apply(lambda x:re.findall('([0-9].*[0-9].*)',x)).str[0]
    df['scale']=df.company_tag_list.apply(get_scale)
    
    df['base_salary']=df.salary.str.split('-').str[0]
    df.base_salary=df.base_salary.astype(float)
    return df

df_all_copy=df_all.pipe(dat_pred)
df_all_copy

（3）薪资数据处理

考虑到薪资待遇下限更贴近实际，因此提取左边界作为base_salary用于分析，此外发现大部分salary单位是k、但是还有部分为元，所以进行标准化处理、统一为k；其中200-400/天的实习数据剔除掉