Python爬取某招网站获取有用信息

目录

一，数据采集：

二，数据清洗：

三，数据可视化：

1，python岗位在各城市的平均薪资直方图：

 2，不同学历平均薪资直方图：

 3，python岗位各项技能占比：

 4，词云图分析python各岗位技能：

 5，各城市数据分析职位地理图：

---

一，数据采集：

在这里，主要采用selenium技术对某网站进行自动化爬取，主要爬取Python岗位信息：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver import ChromeOptions
import time
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
dirver = webdriver.Chrome(executable_path=r'D:\Python39\chromedriver.exe', chrome_options=option)
with open('stealth.min.js', 'r') as f:
    js = f.read()

dirver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
  "source": js
})
dirver.get("https://www.zhipin.com/c100010000/?query=python&ka=sel-city-100010000")
# input = dirver.find_element_by_class_name("ipt-search")
# input.send_keys("Python")
# input.send_keys(Keys.RETURN)
next_page = dirver.find_element_by_class_name('next')
lis = dirver.find_elements_by_xpath('//div[@class="job-list"]/ul/li')
time.sleep(1)
f = open('work.csv', 'a')
f.write("标题,公司名称,城市,薪资,学历经验,公司短评,公司领域,融资阶段,岗位技能\n")
for li in lis:
    it = {}
    Post = li.find_element_by_xpath('.//div/div[1]/div[1]/div/div[1]/span[1]/a').text
    Complany = li.find_element_by_xpath('.//div/div[1]/div[2]/div/h3/a').text
    Located = li.find_element_by_xpath('//div/div[1]/div[1]/div/div[1]/span[2]/span').text
    Salary = li.find_element_by_xpath('.//div/div[1]/div[1]/div/div[2]/span').text
    Stu = li.find_element_by_xpath('.//div/div[1]/div[1]/div/div[2]/p').text
    Experiance = li.find_element_by_xpath('.//div/div[1]/div[1]/div/div[2]/p/em').text
    Comments = li.find_element_by_xpath('.//div/div[2]/div[2]').text
    Directions = li.find_element_by_xpath('.//div/div[1]/div[2]/div/p/a').text
    Funds = li.find_element_by_xpath('.//div/div[1]/div[2]/div/p').text
    # Scale = li.find_element_by_xpath('.//div/div[1]/div[2]/div/p').text
    Skill = li.find_element_by_xpath('.//div/div[2]/div[1]/span').text
    it["标题"] = Post
    it["公司名称"] = Complany
    it["城市"] = Located[:2]
    it["薪资"] = Salary
    it["学历"] = Stu
    it['经验'] = Experiance
    it["公司短评"] = Comments
    it['公司领域'] = Directions
    it['融资阶段'] = Funds
    # item["公司规模"] = Scale
    it["岗位技能"] = Skill
    print(it)
    f.writelines(str(i) + ',' for i in it.values())
    f.write('\n')
n=2
while n<11:
    next_page = dirver.find_element_by_class_name('next')
    next_page.click()
    ls = dirver.find_elements_by_xpath('//div[@class="job-list"]/ul/li')
    for i in ls:
        it = {}
        Post = i.find_element_by_xpath('.//div/div[1]/div[1]/div/div[1]/span[1]/a').text
        Complany = i.find_element_by_xpath('.//div/div[1]/div[2]/div/h3/a').text
        Located = i.find_element_by_xpath('//div/div[1]/div[1]/div/div[1]/span[2]/span').text
        Salary = i.find_element_by_xpath('.//div/div[1]/div[1]/div/div[2]/span').text
        Experiance = i.find_element_by_xpath('.//div/div[1]/div[1]/div/div[2]/p/em').text
        Stu = i.find_element_by_xpath('.//div/div[1]/div[1]/div/div[2]/p').text
        Comments = i.find_element_by_xpath('.//div/div[2]/div[2]').text
        Directions = i.find_element_by_xpath('.//div/div[1]/div[2]/div/p/a').text
        Funds = i.find_element_by_xpath('.//div/div[1]/div[2]/div/p').text
        # Scale = li.find_element_by_xpath('.//div/div[1]/div[2]/div/p').text
        Skill = i.find_element_by_xpath('.//div/div[2]/div[1]/span').text
        it["标题"] = Post
        it["公司名称"] = Complany
        it["城市"] = Located[:2]
        it["薪资"] = Salary
        it["学历"] = Stu
        it['经验'] = Experiance
        it["公司短评"] = Comments
        it['公司领域'] = Directions
        it['融资阶段'] = Funds
        # item["公司规模"] = Scale
        it["岗位技能"] = Skill
        print(it)
        f.writelines(str(i) + ',' for i in it.values())
        f.write('\n')
    n+=1
    time.sleep(3)

else:
    print("OVER!")
    dirver.close()

爬取完成将数据以CSV格式进行保存,部分数据如下：

二，数据清洗：

这时，我们爬取的数据是不符合标准的，你会发现，学历和经验没有分开，以及融资阶段中还有公司规模，这些都是在数据采集阶段为节省时间遗留下来的问题，这就需要我们对数据进行清洗以获取标准数据：

首先，导入numpy和pandas库，用pandas自带的read_csv函数读取我们爬取的数据：

import numpy as np
import pandas as pd

data = pd.read_csv('work.csv')
data = data.fillna(value="暂无短评",axis=None,inplace=False,method=None)
li=[]
for i in data.学历经验:
    if '本' in i:
        li.append("本科")
    elif "专" in i:
        li.append("大专")
    else:
        li.append("学历不限")
data['学历要求']=li
q=[]
a=data.学历经验
b=data.学历要求
for i,j in zip(a,b):
    q.append(i.replace('{}'.format(j),''))
data=data.drop(columns=["学历经验"])
data['经验要求']=q
def x(c):
    if 'python' in c:
        return c.replace('python','Python')
    else:
        return c
data['岗位技能']=data.岗位技能.map(x)

数据清洗完成后我们就能得到标准的数据：

三，数据可视化：

由于数据过于简单，我们直接使用matplotlib和pyecharts对其进行可视化：

1，python岗位在各城市的平均薪资直方图：

import matplotlib.pyplot as plt
plt.style.use('seaborn')
plt.rcParams['axes.unicode_minus']=False
plt.rcParams['font.sans-serif']=['SimHei']

gp=data.groupby('城市')
a = gp['平均薪资'].agg(['mean'])
b=a['mean'].sort_values(ascending=False)
plt.title('各城市平均薪资直方图')
plt.bar(b.index,b,color='g',width=0.5)

 2，不同学历平均薪资直方图：

def x(c):
    gp=data.groupby(c)
    a = gp['平均薪资'].agg(['mean'])
    b= a ['mean'].sort_values(ascending=False)
    plt.bar(b.index,b,color='r')
    plt.title('各{}平均薪资直方图'.format(c))
x('学历要求')

 效果如下：

 3，python岗位各项技能占比：

a =data.岗位技能.value_counts().sort_values(ascending=False)
c=list(a.index)
b=list(a.values)
plt.figure(figsize=(18,15.5))
plt.subplot(221)
plt.title('python岗位各项技能占比折线图')
plt.plot(c[:6],b[:6],'-o')
plt.subplot(222)
plt.pie(b[:10],labels=c[:10],autopct='%.2f')
plt.title('python岗位各项技能占比饼图')
print(c[:6])
print(b[:6])

 效果如下：

 4，词云图分析python各岗位技能：

from pyecharts.charts import WordCloud 

wordcloud = WordCloud()
wordcloud.add(series_name='python岗位技能词云图',
             data_pair=L,
             shape='diamond',
             rotate_step=0
             )
wordcloud.render_notebook()

 效果如下：

 5，各城市数据分析职位地理图：

from pyecharts.charts import Geo
from pyecharts import options as opts
from pyecharts.globals import ThemeType

geo = Geo()
geo.add_schema(maptype='china')
geo.add(series_name='各城市数据分析职位地理图',data_pair=b,type_='effectScatter')
geo.set_global_opts(
                   title_opts=opts.TitleOpts(title='全国个城市数据分析职位统计图'),
                   visualmap_opts=opts.VisualMapOpts(min_ = 0,max_=450),
                   toolbox_opts=opts.ToolboxOpts(is_show=False))
geo.set_series_opts(label_opts=opts.LabelOpts(False))
geo.render_notebook()

效果如下：