北京python招聘信息_利用python实现爬虫爬取某招聘网站，北京地区岗位名称包含某关键字的所有岗位平均月薪...

#通过输入的关键字，爬取北京地区某岗位的平均月薪

# -*- coding: utf-8 -*-

import re

import requests

import time

import lxml.html

from bs4 import BeautifulSoup

#------------------------------------------------定义函数：获取指定网页北京地区所有相关职位的月薪---------------------

def getSalary(url):

headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}

resp=requests.get(url,headers=headers)

time.sleep(5)

web_data = BeautifulSoup(resp.content, "lxml")

firstlist=web_data.find_all('td')

salarylist1=[]

salarylist2=[]

for i in firstlist:

if 'zwyx' in str(i) and '面议' not in str(i): #提取职位月薪，并存入salarylist1列表，月薪为面议时不统计

salarylist1.append(str(i)) #将列表转为字符串，并用正则表达式提取字符串里面的数字(即月薪)，并存入salarylist2，此时列表中元素格式还是字符串

salaryliststr='+'.join(salarylist1)

reeq=re.compile(r'(\w[0-9]+)\w*')

salarylist2=re.findall(reeq,salaryliststr)

salarylist2=map(float,salarylist2) #将字符串格式的月薪转为float型

return salarylist2 #以数字列表形式返回指定网页所有统计到的月薪

#-------------------------定义函数：统计智联招聘网站北京地区，招聘岗位名称包含keyword关键字所有岗位的平均月薪-------------

def getAverageSalary(keyword):

url=r'http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw='+keyword+'&sm=0&p=1&kt=3' #包含关键字的网站名

headers = {"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}

pagelist=[]

salarylist=getSalary(url) #提取第一页的招聘岗位月薪信息，并存入salarylist列表

print salarylist

while True:

resp=requests.get(url,headers=headers)

time.sleep(5)

if resp.status_code!=200:

break

resp=resp.content

reg=r'a href="(.*?)" class="next-page">下一页' #用于获取下一页地址的正则表达式

reg=re.compile(reg)

page=re.findall(reg,resp)

if page!=[]: #如果未到检索的最后一页

page1=re.split(r'href="',page[0]) #提取当前页的下一页的网址，并赋给url

if re.search('http',page1[-1]):

pagelist.append(page1[-1])

url=page1[-1]

salarylist2=getSalary(url)

#print 'salarylist',salarylist

salarylist.extend(salarylist2) #将新提取的月薪信息存入salarylist列表

#print 'salarylist2',salarylist

else:

break

else: #已到检索到的最后一页，结束循环

break

salarylist=map(float,salarylist)

if len(salarylist)!=0:

averageSalary=sum(salarylist)/len(salarylist)

return averageSalary,pagelist

else:

print '统计到的月薪列表为0，请检查网页是否正确！'

return 0,[0,]

averageSalary,pagelist=getAverageSalary('CAE') #爬取关键字为 CAE 的岗位平均月薪

print 'AverageSalary:',averageSalary