没做过招聘,我不清楚是否存在这种情况:公司不准备招人,但是却在招聘网站上挂了N个岗位,给人一种正在招聘的假象。。。为了避免这种情况,我写了一个脚本,统计某一关键词的岗位数量和具体岗位信息,然后每天随机运行一下该脚本,如果数量增加,说明有新岗位出现,这家公司“真的”在招聘!
脚本有几个注意点:1. 编码有些特殊;2. 51job每页只展现50条搜索记录,所以涉及到翻页。
#!/usr/bin/env python # coding: utf-8 import requests import re import csv import datetime import sys # 51job使用gbk编码 reload(sys) sys.setdefaultencoding('gbk') head = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36" } time = datetime.datetime.now() current = time.strftime('%Y-%m-%d %H_%M_%S') # 网站每页只能展示50条记录, 所以要获取页数; 这里得到的页数比正常的多2页,因为后续函数用到range处理起来特殊点 def getPage(keyword): url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=080200%%2C00&funtype=0000&industrytype=00&" \ "keyword=%s&keywordtype=2&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9" % keyword r = requests.get(url, headers=head) r.encoding = r.apparent_encoding content = r.text regexp_count = ur"共(.*?)条职位" pattern_count = re.compile(regexp_count, re.M) result_count = re.findall(pattern_count, content) page_count = int(result_count[0]) / 50 + 2 return result_count, page_count # return ([u'128'], 4) # 获取职位数,职位名称,公司名称 def getJobByKeyword(keyword): result_details = [] for p in range(1,getPage(keyword)[1]): # 此处第一行有两个连续的百分号,我理解第一个起到转义的作用 url = "http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=080200%%2C00&funtype=0000&industrytype=00&" \ "keyword=%s&keywordtype=2&" \ "curr_page=%d&lang=c&stype=2&postchannel=0000&fromType=1&confirmdate=9" % ( keyword, p ) r = requests.get(url, headers=head) # r.encoding = ISO-8859-1, 好奇怪的编码,查了资料加了下面这行确保结果不会出现乱码 r.encoding = r.apparent_encoding content = r.text regexp_details = r'<span>\s+<a target="_blank" title="(.*?)" href="(.*?)".*?title="(.*?)"' pattern_details = re.compile(regexp_details, re.S) result_details.append(re.findall(pattern_details, content)) return result_details # [ [(u'岗位名称1', u'公司名称1, url1), ..., (u'岗位名称50', u'公司名称50', url50)], [], [], ... ] # 将职位名称,公司名称输出到文件 def exportAsCsv(keyword): print keyword + u"岗位数:" + getPage(keyword)[0][0] csvfile = file(current + "_" + keyword + ".csv", 'ab') writer = csv.writer(csvfile) for item1 in getJobByKeyword(keyword): for item2 in item1: writer.writerow([item2[2], item2[0], item2[1]]) exportAsCsv("microsoft")