抓取前程无忧51job岗位数据，实现数据可视化——心得体会

最近找工作，经常浏览51job，刚好学了python一段时间了，所以有了一个想法：为什么不将我需要的岗位信息给爬出来呢？

在51job网站搜索“数据分析师”，查看源代码，发现每一个招聘公告包含岗位、公司、薪资、地区等信息。所以可以实现如下几个目的：

1.根据关键词抓取招聘信息；

2.连接mysql，创建表格，并插入数据；

3.初步清洗数据，实现可视化

一、网页抓取函数

https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=

这个是搜索“数据分析师”的网址，乍一看十分复杂，立马就没弄下去的欲望了。

发现这么一长串url只有

https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,1.html

是必须的。而

%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588

则正好是“数据分析师”的urlencode，那么我们可以利用这一点，更改搜索关键词

而且%25E6%2595%25B0%25E6%258D%25AE%25E5%2588%2586%25E6%259E%2590%25E5%25B8%2588,2,1.html中html前的数字对应着页码

因此可以通过更改keyword和页码，进一步选择我们需要的信息。

def Get_html(data,i):
    Url="https://search.51job.com/list/000000,000000,0000,00,9,99,"+data+",2,%s.html"%i #data是自定义搜索关键词，i的大小则直接控制了爬取信息量
    header = {'User-Agent':'Mozilla/5.0'} #头部信息
    r=requests.get(Url,headers=header)
    print(r.url)
    print(r.status_code)
    r.encoding=r.apparent_encoding
    #print(r.text)
    return(r.text) #函数返回html

万里长征完成第一步o.o

接下来就是解析html，进一步爬取岗位、公司、薪资、地区和url信息。

这个阶段卡了2个多小时（习惯用beautifulsoup爬取）。

代码1：

def Get_data(html):
    soup=BeautifulSoup(html,"html.parser")
    for div in soup.find_all("div",class_="el"):  #find_all()遍历结果为列表
        print(div)

输出结果：

<div class="el">
<p class="t1 ">
<em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
<input class="checkbox" jt="0" name="delivery_jobid" style="display:none" type="checkbox" value="109229565"/>
<span>
<a href="https://jobs.51job.com/shenyang/109229565.html?s=01&amp;t=0" οnmοusedοwn="" target="_blank" title="数据分析师">
                                    数据分析师                                </a>
</span>
</p>
<span class="t2"><a href="https://jobs.51job.com/all/co5314555.html" target="_blank" title="沈阳市和平区鹏润衣世界服装批发城">沈阳市和平区鹏润衣世界服装批发城</a></span>
<span class="t3">沈阳</span>
<span class="t4">6-8千/月</span>
<span class="t5">03-19</span>
</div>
发现再怎么利用beautifulsoup的函数也无法对div子节点的属性进行爬取。（习惯了用beautifulsoup，一下子不知道怎么办了）

这时候说明百度还是很重要的

发现除了beautifulsoup库外，xpath也可以实现这个功能。（详细功能自行百度）

代码2：

def Get_data(html,name):
    html = etree.HTML(html)
    divs = html.xpath("//div[@id='resultList']/div[@class='el']")
    print(divs)
    for div in divs:
        job1=div.xpath("./p/span/a/@title")
        print(job1[0])
        job_url1=div.xpath("./p/span/a/@href")
        print(job_url1)
        job_company1=div.xpath("./span[@class='t2']/a/@title")
        print(job_company1)
        job_area1=div.xpath("./span[@class='t3']/text()")
        print(job_area1)
        job_salary1=div.xpath("./span[@class='t4']/text()")
        print(job_salary1)
        try:
            job_salary.append(job_salary1[0])
            job_area.append(job_area1[0])
            shuju.append((job1[0], job_url1[0], job_company1[0], job_area1[0], job_salary1[0]))
        except:
            print("异常")
    print(shuju)
    print(job_salary,job_area)
    print(len(job_salary),len(job_area)) #查看招聘信息数量
    return(shuju,job_salary,job_area)

二、连接mysql数据库，创建表格，插入数据

利用pymysql库

代码1（创建表格函数）：

def Mysql_create_table(name):
    client=pymysql.connect(user="root",host="localhost",passwd="*******",db="xiaolimao")
    cursor=client.cursor()
    sql="create table if not exists table_%s"%name+"(job VARCHAR(100),job_url VARCHAR(100),job_company VARCHAR(100),job_area VARCHAR(100),job_salary VARCHAR(100));"
    cursor.execute(sql)
    cursor.close()
    client.close()

写入爬取数据:

代码2：

def Mysql_data(name,shuju):
    client=pymysql.connect(user="root",host="localhost",passwd="********",db="xiaolimao")
    cursor=client.cursor()
    sql="insert into table_%s"%name+" values(%s,%s,%s,%s,%s)"
    cursor.executemany(sql,shuju)
    client.commit()
    cursor.close()
    client.close()

处理结果：

三、初步筛选数据，做工资分布图（地点-薪资）

51job爬出的薪资数据均为string格式，且为1-2万/月或者1-2千/月格式。地点为城市或者城市-区格式

首先将工资数据进行处理：

def Num_salary():
    for num in job_salary: #job_salary 为工资列表
        if("万/月" in num ): 
            Num=(re.findall(r"\d+\.?\d*",num))  #将工资字符串中数字提取出
            n=int((float(Num[0])+float(Num[1]))*10000/2)  #将工资区间平均化
        elif ("千/月" in num ):
            Num = (re.findall(r"\d+\.?\d*", num))
            n = int((float(Num[0]) + float(Num[1])) * 1000 / 2)
        data_salary.append(n) # 新的工资列表
        print(data_salary)
    return (data_salary)

然后城市处理：

def Num_area():
    for area in job_area:
        if "-" in area:
            Area = area.split("-")[0] #将带有区的地点只取城市
        else :
            Area=area
        data_area.append(Area)
        print(data_area)
    print(len(data_area))
    return (data_area)

处理结果：

[20000, 9000, 6500, 6500, 15500, 9000, 7000, 5250, 7000, 9000, 12500, 7000, 9000, 7000, 5250, 10000, 9000, 8500, 7000, 6500, 7000, 9000, 18000, 9000, 7000, 6500, 12000, 12000, 12500, 11500, 11500, 8500, 5250, 7000, 7000, 7000, 6000, 12500, 7000, 5250, 5250, 9500, 9000, 9000, 7000, 6250, 6500, 7500, 4500, 10000, 7000, 15000, 14500, 8000, 25000, 7000, 12500, 27500, 9000, 25000, 15000, 8500, 7000, 5500, 24000, 10000, 10000, 6000, 16000, 11500, 12500, 12500, 17500, 7500, 11500, 9000, 7500, 12500, 7000, 7000, 11500, 11500, 12500, 6000, 12500, 5250, 11500, 7000, 12000, 9000, 12500, 10500, 12500, 7000, 6750, 6500, 9000, 9000, 10000, 5250, 5000, 5250, 7250, 9000, 7000, 6000, 9000, 9000, 9000, 9000, 7000, 12500, 4150, 6000, 5250, 9000, 17500, 20000, 20000, 5500, 8500, 4500, 7500, 8500, 6000, 5750, 22500, 11500, 11500, 5250, 12500, 7500, 7500, 5000, 17500, 9000, 19000, 15000, 12500, 5500, 11500, 11500, 6000, 6750, 11500, 12500, 12500]

['杭州', '无锡', '深圳', '异地招聘', '异地招聘', '无锡', '广州', '广州', '广州', '广州', '北京', '广州', '北京', '广州', '广州', '深圳', '深圳', '广州', '广州', '上海', '广州', '南昌', '深圳', '广州', '成都', '上海', '上海', '广州', '广州', '北京', '广州', '上海', '成都', '广州', '深圳', '上海', '合肥', '上海', '武汉', '郑州', '郑州', '广州', '上海', '广州', '杭州', '佛山', '中山', '海口', '异地招聘', '深圳', '沈阳', '上海', '异地招聘', '重庆', '上海', '北京', '北京', '珠海', '上海', '上海', '广州', '上海', '西安', '上海', '深圳', '深圳', '北京', '异地招聘', '南京', '深圳', '上海', '广州', '成都', '金华', '广州', '北京', '广州', '西安', '青岛', '异地招聘', '广州', '广州', '上海', '北京', '深圳', '沈阳', '成都', '大连', '武汉', '武汉', '南京', '武汉', '上海', '广州', '上海', '西安', '广州', '宜昌', '上海', '广州', '长沙', '昆明', '杭州', '福州', '广州', '佛山', '广州', '北京', '北京', '深圳', '广州', '深圳', '苏州', '温州', '异地招聘', '广州', '武汉', '北京', '广州', '上海', '广州', '深圳', '广州', '上海', '郑州', '郑州', '广州', '深圳', '上海', '广州', '上海', '广州', '深圳', '广州', '上海', '深圳', '北京', '深圳', '杭州', '广州', '上海', '上海', '合肥', '深圳', '上海', '北京', '杭州']

然后发现，在城市列表中存在“异地招聘”非城市名字符串。将城市列表中“异地招聘”元素删除并将其对应的工资列表中的元素删除。

def Get_rid(i):
    for j in range(i):  # 列表在删除元素时因为地址的更变会导致部分元素删除不彻底，此处加一个循环为了更彻底，i与爬取信息量有关
        for area in data_area :
            if area == "异地招聘" :
                data_salary.pop(data_area.index(area))
                data_area.remove(area)

处理结果：

[20000, 9000, 6500, 9000, 7000, 5250, 7000, 9000, 12500, 7000, 9000, 7000, 5250, 10000, 9000, 8500, 7000, 6500, 7000, 9000, 18000, 9000, 7000, 6500, 12000, 12000, 12500, 11500, 11500, 8500, 5250, 7000, 7000, 7000, 6000, 12500, 7000, 5250, 5250, 9500, 9000, 9000, 7000, 6250, 6500, 7500, 10000, 7000, 15000, 8000, 25000, 7000, 12500, 27500, 9000, 25000, 15000, 8500, 7000, 5500, 24000, 10000, 10000, 16000, 11500, 12500, 12500, 17500, 7500, 11500, 9000, 7500, 12500, 7000, 11500, 11500, 12500, 6000, 12500, 5250, 11500, 7000, 12000, 9000, 12500, 10500, 12500, 7000, 6750, 6500, 9000, 9000, 10000, 5250, 5000, 5250, 7250, 9000, 7000, 6000, 9000, 9000, 9000, 9000, 7000, 12500, 4150, 6000, 9000, 17500, 20000, 20000, 5500, 8500, 4500, 7500, 8500, 6000, 5750, 22500, 11500, 11500, 5250, 12500, 7500, 7500, 5000, 17500, 9000, 19000, 15000, 12500, 5500, 11500, 11500, 6000, 6750, 11500, 12500, 12500] ['杭州', '无锡', '深圳', '无锡', '广州', '广州', '广州', '广州', '北京', '广州', '北京', '广州', '广州', '深圳', '深圳', '广州', '广州', '上海', '广州', '南昌', '深圳', '广州', '成都', '上海', '上海', '广州', '广州', '北京', '广州', '上海', '成都', '广州', '深圳', '上海', '合肥', '上海', '武汉', '郑州', '郑州', '广州', '上海', '广州', '杭州', '佛山', '中山', '海口', '深圳', '沈阳', '上海', '重庆', '上海', '北京', '北京', '珠海', '上海', '上海', '广州', '上海', '西安', '上海', '深圳', '深圳', '北京', '南京', '深圳', '上海', '广州', '成都', '金华', '广州', '北京', '广州', '西安', '青岛', '广州', '广州', '上海', '北京', '深圳', '沈阳', '成都', '大连', '武汉', '武汉', '南京', '武汉', '上海', '广州', '上海', '西安', '广州', '宜昌', '上海', '广州', '长沙', '昆明', '杭州', '福州', '广州', '佛山', '广州', '北京', '北京', '深圳', '广州', '深圳', '苏州', '温州', '广州', '武汉', '北京', '广州', '上海', '广州', '深圳', '广州', '上海', '郑州', '郑州', '广州', '深圳', '上海', '广州', '上海', '广州', '深圳', '广州', '上海', '深圳', '北京', '深圳', '杭州', '广州', '上海', '上海', '合肥', '深圳', '上海', '北京', '杭州']

非城市名字符串全部删除

最后成图：

def Geo_chart(name): #利用pyecharts库的Geo函数做图
    data_geo=[]
    data_salary_max=np.max(data_salary) #利用工资列表最大值做为比例尺最大值
    print(data_salary_max)
    for i in range(len(data_area)-1):
        data_geo.append((data_area[i],data_salary[i]))
    geo=Geo("%s"%name+"薪资分布图","data from 51job", title_color="#fff", title_pos="center",width=1200, height=600, background_color='#404a59')
    attr,value=geo.cast(data_geo)
    geo.add("", attr, value, visual_range=[0, data_salary_max], visual_text_color="#fff", symbol_size=15, is_visualmap=True)
    geo.show_config()
    geo.render() #可以自定义保存位置

成果图：

大功告成！！！

总结：

从开始做一直到成功，花了接近一天时间。中间多次想要放弃，不过好在是坚持了下来。

好多东西真的是在自己动手做的时候才发现没有想象中的简单。

参考文章：

1.https://blog.csdn.net/legalhighhigh/article/details/79779832

2.

 

贴上完整代码：

import requests
import re
from lxml import etree
import pymysql
from pyecharts import Geo
import numpy as np
job_salary=[]
job_area=[]
shuju=[]
data_salary=[]
data_area=[]

def Geo_chart(name):
    data_geo=[]
    data_salary_max=np.max(data_salary)
    print(data_salary_max)
    for i in range(len(data_area)-1):
        data_geo.append((data_area[i],data_salary[i]))
    geo=Geo("%s"%name+"薪资分布图","data from 51job", title_color="#fff", title_pos="center",width=1200, height=600, background_color='#404a59')
    attr,value=geo.cast(data_geo)
    geo.add("", attr, value, visual_range=[0, data_salary_max], visual_text_color="#fff", symbol_size=15, is_visualmap=True)
    geo.show_config()
    geo.render()


def Get_html(data,i):
    Url="https://search.51job.com/list/000000,000000,0000,00,9,99,"+data+",2,%s.html"%i
    header = {'User-Agent':'Mozilla/5.0'}
    r=requests.get(Url,headers=header)
    print(r.url)
    print(r.status_code)
    r.encoding=r.apparent_encoding
    #print(r.text)
    return(r.text)    
def Mysql_create_table(name):
    client=pymysql.connect(user="root",host="localhost",passwd="rongchao123",db="xiaolimao")
    cursor=client.cursor()
    sql="create table if not exists table_%s"%name+"(job VARCHAR(100),job_url VARCHAR(100),job_company VARCHAR(100),job_area VARCHAR(100),job_salary VARCHAR(100));"
    cursor.execute(sql)
    cursor.close()
    client.close()

def Mysql_data(name,shuju):
    client=pymysql.connect(user="root",host="localhost",passwd="rongchao123",db="xiaolimao")
    cursor=client.cursor()
    sql="insert into table_%s"%name+" values(%s,%s,%s,%s,%s)"
    cursor.executemany(sql,shuju)
    client.commit()
    cursor.close()
    client.close()

def Get_data(html,name):
    html = etree.HTML(html)
    divs = html.xpath("//div[@id='resultList']/div[@class='el']")
    print(divs)
    for div in divs:
        job1=div.xpath("./p/span/a/@title")
        print(job1[0])
        job_url1=div.xpath("./p/span/a/@href")
        print(job_url1)
        job_company1=div.xpath("./span[@class='t2']/a/@title")
        print(job_company1)
        job_area1=div.xpath("./span[@class='t3']/text()")
        print(job_area1)
        job_salary1=div.xpath("./span[@class='t4']/text()")
        print(job_salary1)
        try:
            job_salary.append(job_salary1[0])
            job_area.append(job_area1[0])
            shuju.append((job1[0], job_url1[0], job_company1[0], job_area1[0], job_salary1[0]))
        except:
            print("异常")
    print(shuju)
    print(job_salary,job_area)
    print(len(job_salary),len(job_area))
    return(shuju,job_salary,job_area)

def Num_salary():
    for num in job_salary: #job_salary 为工资列表
        if("万/月" in num ):
            Num=(re.findall(r"\d+\.?\d*",num))  #将工资字符串中数字提取出
            n=int((float(Num[0])+float(Num[1]))*10000/2)  #将工资区间平均化
        elif ("千/月" in num ):
            Num = (re.findall(r"\d+\.?\d*", num))
            n = int((float(Num[0]) + float(Num[1])) * 1000 / 2)
        data_salary.append(n) # 新的工资列表
        print(data_salary)
    return (data_salary)

def Num_area():
    for area in job_area:
        if "-" in area:
            Area = area.split("-")[0] #将带有区的地点只取城市
        else :
            Area=area
        data_area.append(Area)
        print(data_area)
    print(len(data_area))
    return (data_area)

def Get_rid(i):
    for j in range(i):  # 列表在删除元素时因为地址的更变会导致部分元素删除不彻底，此处加一个循环为了更彻底，i与爬取信息量有关
        for area in data_area :
            if area == "异地招聘" :
                data_salary.pop(data_area.index(area))
                data_area.remove(area)            
        
if __name__=="__main__":
    kywd=input("关键词：")
    name=input("表名：")
    Number=int(input("请输入一个整数："))
    Mysql_create_table(name)
    for i in range(1,Number):
        html=Get_html(kywd,i)
        Get_data(html,name)
    Mysql_data(name,shuju)
    Num_salary()
    Num_area()
    Get_rid(Number)
    print(data_salary,data_area)
    Geo_chart(kywd)