Python获取前程无忧的职位信息
今天用Python写了一个小脚本可以获取前程无忧(https://www.51job.com/)的职位信息,包括职位,公司,薪资等。
主要应用requests库和正则表达式。
这个网站需要解码,这是一个坑,要不然很容易造成提取信息失败。在阿里云大学学了一招。 这个解码的代码段算是万能解码了,在提取不需要解码的网站源码信息时,把这段代码写进去也是没有问题的,在提取需要解码的网站源码信息时,把这段代码放进去就可以解码了。
data = bytes(txt.text,txt.encoding).decode("gbk","ignore")
#把获取到的网页代码转换成二进制数据,然后按照网站编码进行解码就OK了。
#这里的gbk是https://www.51job.com的编码形式,也可以转换成utf-8,当然按照网页编码进行解码是一定没有问题的。
下面直接上完整的代码,备注写的还算详细。
#_*_coding:utf-8_*_
#作者:i7366464
#时间:2020/2/24 13:43
#文件:爬取前程无忧.py
#IDE :PyCharm
#https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud这个网站是下载Python第三方库的网站
import requests
import re
hd = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"
}
city = input("请输入城市拼音:")#注意这里一定是拼音小写的,网站限制。。
job = input("请输入职位:")
txt = requests.get("https://www.51job.com/"+city)#所输入城市的前程无忧主页
data = bytes(txt.text,txt.encoding).decode("gbk","ignore")
pat_city_id= '<input type="hidden".*?id="jobarea".*?value="(.*?)"/>'
city_id = re.compile(pat_city_id,re.S).findall(data)[0]#获取到所输入城市的id
#print(city_id)
txt_1= requests.get("https://search.51job.com/list/"+str(city_id)+",000000,0000,00,9,99,"+job+",2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0",headers = hd)
data= bytes(txt_1.text,txt_1.encoding).decode("gbk","ignore")
#print(data)
pat = ' <div class="rt">.*?共(.*?)条职位.*?</div>'
num = re.compile(pat,re.S).findall(data)[0]#获取所搜索职位一共有多少
#print(num)
page = int(num)//50+1#算一下一共有多少页
#print(page)
for i in range(0,page):
print("----正在爬"+str(i+1)+"页----")
this_url = ("https://search.51job.com/list/"+str(city_id)+",000000,0000,00,9,99,"+job+",2,"+str(i+1)+".html?lang=c&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0")
txt_2 = requests.get(this_url,headers = hd)
data = bytes(txt_2.text,txt_2.encoding).decode("gbk","ignore")
# print(data)
pat_title = ' <span>.*?<a target="_blank" title="(.*?)" .*?</span>'
pat_company = '<span class="t2"><a target="_blank" title="(.*?)" .*?</span>'
pat_money = '<div class="el">.*?<span class="t4">(.*?)</span>.*?</div>'
try:
for j in range(0,50):
title = re.compile(pat_title,re.S).findall(data)[j]#获取职位
company = re.compile(pat_company,re.S).findall(data)[j]#获取公司
money = re.compile(pat_money,re.S).findall(data)[j]#获取薪资
# print(len(money))
# print(title)
# print(company)
# print(money)
# print("--------")
with open("工作.doc","a+",encoding='utf-8')as f:
f.write(title+"\r\n"+company+"\r\n"+money+"\r\n"+"------\r\n")
except Exception as ess:
pass
我这里已长春为例测试了一下,下面图片就是爬下来的数据中的一部分
欢迎大家测试、交流。希望大家多多评论。