使用requests爬取51job数据并保存在csv文件中

我们知道 在使用python的requests模块进行爬取数据的时候，会遇到一些异步加载的数据，当我们解析网页源代码的时候是拿不到这个数据的· 数据一般会动态加载   我们找到加载数据的json数据

我们在network里面刷新一下 就拿到了这次请求发送的json数据

url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,java,2,3.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='

 通过请求这个页面 拿到数据

res = requests.get(url=url, headers=headers).text                                                                                             

通过观察我们不难发现 此次要获取的数据在engine_jds 和jodid_count  之间  所以我们使用正则表达式 提取到这一部分的json数据

data = re.findall(r"\"engine_jds\":(.*?),\"jobid_count\"", str(res))

具体代码如下

import requests
import json
import re
import math
import pandas as pd

url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,java,2,3.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare='

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
}
res = requests.get(url=url, headers=headers).text
# 解析json数据  起始点 到终点
data = re.findall(r"\"engine_jds\":(.*?),\"jobid_count\"", str(res))
# 用来保存打包后的数据
values = []
#每个要获取的数据定义一个数据  存放多态记录
job_name = []
company_name = []
salary = []
location = []
# 标题栏  将数据存在Dataframe中用到的
cols = ['工作名称', '公司名称', '薪水', '工作地点']
# 将拿到的数据加载成为json数据
job_data = json.loads(data[0])
#通过遍历数据拿到其中每个小项的数据
for job in job_data:
    #拿到工作名称的数据存入相应的数据中
    job_name.append(job["job_name"].split(' ')[0])
    #拿到工司名称的数据存入相应的数据中 
    company_name.append(job["company_name"])
    #拿到薪水的数据存入相应的数据中 
    salary.append(math.ceil(float(job["providesalary_text"].split("万")[0].split("千")[0].split("-")[1])))
    #拿到工作地区的数据存入相应的数据中 
    location.append(job["workarea_text"].split("-")[0])
    #通过zip()打包函数 将数据打包到一起并存入一个list中 以便于后面存入Datefram
for job_name_1,company_name_1,salary_1,location_1 in zip(job_name,company_name,salary,location):
    values.append([job_name_1,company_name_1,salary_1,location_1])
#将数据存入DataFrame 横行是每列代表的数据  列是数据
data = pd.DataFrame(values, columns=cols)

#将数据存入为csv文件 以便于后面进行数据清晰地时候使用 上传到大数据数据处理平台中
data.to_csv("data.csv")
print("保存成功")