Python爬虫——4.4爬虫案例——requests和xpath爬取招聘网站信息

# -*-coding:utf-8 -*-
'''
使用requests模块进行数据采集，XPath进行数据筛选
'''
import requests
from lxml import etree
# 定义访问路由
url='http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC%2B%E4%B8%8A%E6%B5%B7%2B%E5%B9%BF%E5%B7%9E%2B%E6%B7%B1%E5%9C%B3&sm=0'
# 请输入要爬取多少页
nums=input('请输入要爬取多少页:')
f=open('zl.txt','w')
for num in range(1,nums+1):
    get_params={
        'p':num
    }
    # 定义请求头
    headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }


    # 发送请求
    response=requests.get(url,params=get_params,headers=headers)

    # 将得到的数据转换为需要的html对象
    html=etree.HTML(response.text)

    # 1.爬取职位名称
    # 使用xpath进行匹配
    list1=html.xpath("//table[@class='newlist']/tr[1]/td[@class='zwmc']/div")
    # 定义匹配公司职位列表
    job_names=[]

    for l in list1:
        name= l.xpath('string(.)').strip()
        # 将爬取的职位名称加入列表
        job_names.append(name)

    print("第%s页职位名称爬取完毕"%num)

    # 2.爬取月薪数据
    # 使用xpath进行匹配
    list2=html.xpath("//table[@class='newlist']/tr[1]/td[@class='zwyx']")
    # 定义匹配公司职位列表
    month_names = []

    for l in list2:
        name = l.xpath('string(.)').strip()
        # 将爬取的职位名称加入列表
        month_names.append(name)

    print("第%s页月薪数据称爬取完毕" % num)

    # 3.爬取公司名称
    list3=html.xpath("//table[@class='newlist']/tr[1]/td[@class='gsmc']/a[1]")
    #list3 = html.xpath("//div[@class='newlist_main']/form/div/div/div[@id='newlist_list_div']/div/table[@class='newlist']/tr/td")
    # 定义匹配公司职位列表

    company_names = []

    for l in list3:
        name = l.xpath('string(.)').strip()
        # 将爬取的职位名称加入列表
        company_names.append(name)
    print("第%s页公司名称爬取完毕" % num)


    for i in range(0,len(company_names)):
        info=job_names[i]+"|"+month_names[i]+"|"+company_names[i]+"\r\n"

        f.write(info.encode('utf-8'))

    print("第%s页职位信息爬取完毕" % num)
    f.write("第%s页职位信息爬取完毕"% num+"\r\n")
    f.write("#"*80+"\r\n")
f.close()

print("全部职位信息爬取完毕")