python数据分析案例（二）：2022年数据分析岗位需求分析

1.数据获取

我是在招聘网站上爬取了我们需要的数据信息，部分数据截图如下：

不会爬虫的可以去我的python专栏里查看，那里有详细的过程。

2.分析内容

        1).数据分析岗位在不同行业的需求情况

        2).数据分析岗位在不同地区的需求情况

        3).数据分析岗位对学历的要求

        4).数据分析岗位对工作经验的要求

        5).数据分析岗位薪资与学历的关系

        6).数据分析岗位薪资与工作经验的关系

3.步骤

3.1数据预处理

1)去除不是数据分析的岗位

print('原数据行数：', len(df))
# 调用pandas的字符串方法只需先调用.str,后续具体的方法与普通字符串方法基本相同
df = df[df['jobName'].str.contains('数据分析')]
print('剔除后的数据行数：', len(df))

2)将details字段分为city、exp、edulevel三列

df['details'] = df['details'].str.strip("[")
df['details'] = df['details'].str.strip("]")
city = df['details'].str.split(',').str[0]
exp = df['details'].str.split(',').str[1]
edulevel = df['details'].str.split(',').str[2]
df['city'] = city.str.split("-").str[0]  # ’广州-番禺区‘ 只要广州
df['city'] = df['city'].str.replace("\'", '')  # 去除单引号
df['exp'] = exp
df['exp'] = df['exp'].str.replace("\'", '')   # 去除单引号
df['edulevel'] = edulevel
df['edulevel'] = df['edulevel'].str.replace("\'", '')   # 去除单引号
print(df)

3)薪资取平均值

本文爬取的薪资数据格式如下所示，它主要包括三种形式：x千-x万、x-x千、x-x万。

我统一将其改成 x，x万 的格式。

# 去除没有工资的行，否则后面会报错
df = df.dropna()
df['salary'] = df['salary'].str.split('-')
def modifysalary(x):
    if(('千' in x[0]) & ('万' in x[1])):  # 8k-1万
        x[0] = float(x[0][0]) / 10
    elif('千' in x[1]): # 5-6千
        x[0] = float(x[0][0]) / 10
        s = list(x[1])  # 在Python中，字符串是不可变类型，即无法直接修改字符串的某一位字符。将字符串转换成列表后修改值，然后用join组成新字符串
        s[0] = str(float(s[0]) / 10)
        s[1] = '万'
        x[1] = ''.join(s)
    else:
        return x
    return x
# 得到薪资区间
df['salary'] = df['salary'].map(modifysalary)

 

 为了方便可视化，我们把平均工资算出来

def salary_avg(x):
    result = (float(x[0]) + float(x[1][0])) / 2 * 10
    return str(result) + 'k'
# 得到平均薪资
df['salary_avg'] = df['salary'].map(salary_avg)
# print(df[['salary', 'salary_avg']])

4)删除不需要的字段，并重命名字段

columns = ['jobName', 'company', 'city', 'company_type', 'edulevel', 'exp', 'salary_avg']
df = df[columns]

5)数据清洗后的数据

6)保存清洗后的数据以便以后使用

df.to_csv('./finaljobRequirement.csv', index=None)

3.2数据分析及可视化

        1)数据分析岗位在不同行业的需求情况

        可视化：我们选取了排名前30的行业进行可视化

代码：

all_type = {}
for i in df['job_type'].str.split('/'):
    for j in i:
        if not j in all_type.keys():
            all_type[j] = 1
        else:
            all_type[j] += 1
df1 = pd.Series(all_type).sort_values(ascending=False).iloc[:30]
df1.plot(kind='barh')
# 显示标签数据
for a, b in enumerate(df1):
    plt.text(b+1, a-0.5, b, ha='center', va='bottom')
plt.show()

        2) 数据分析岗位在不同地区的需求情况

        可视化：我们选取了排名前10的地区

 代码：

df2 = ff.groupby('city')['jobName'].count().sort_values(ascending=False).iloc[:10]
# print(df2)
df2.plot(kind='bar')
plt.xticks(rotation=360)
plt.grid(alpha=0.7, axis='y', ls='-.')
plt.ylabel('count')
for a, b in enumerate(df2):
    plt.text(a, b, b, ha='center', va='bottom')
plt.show()

        3).数据分析岗位对学历的要求

        可视化：

代码：

df3 = ff.groupby('edulevel')['jobName'].count().sort_values(ascending=False)
df3.plot(kind='bar')
for a, b in enumerate(df3):
    plt.text(a, b, b, ha='center', va='bottom')
plt.xticks(rotation=360)
plt.show()

        4).数据分析岗位对工作经验的要求

        可视化：

代码：

df4 = ff.groupby('exp')['jobName'].count().reset_index()
plt.pie(df4['jobName'], labels=df4['exp'], autopct='%3.2f%%', startangle=90, pctdistance=0.6)
plt.axis('equal')
plt.show()

        5).数据分析岗位薪资与学历的关系

        可视化：

代码：

def salary_mean(arr):
    return arr.sum() / arr.count()

ff['salary_avg'] = ff['salary_avg'].str[:-1].astype(float)
df5 = ff.groupby('edulevel')['salary_avg'].agg(salary_mean).sort_values(ascending=False)
df5.plot(kind='bar')
for a, b in enumerate(df5):
    plt.text(a, b, b, ha='center', va='bottom')
plt.xticks(rotation=360)
plt.show()

        6).数据分析岗位薪资与工作经验的关系

        可视化：

        代码：

df6 = ff.groupby('exp')['salary_avg'].agg(salary_mean).sort_values(ascending=False)
df6.plot(kind='bar')
for a, b in enumerate(df6):
    plt.text(a, b, b, ha='center', va='bottom')
plt.xticks(rotation=360)
plt.show()

具体分析根据图可以得到。