腾讯招聘网站爬虫

                          基本请求库requests的使用,基本解析库lxml的使用

爬虫程序源代码及爬取过程分析:

import requests
from lxml import etree

'''
1.需求分析
    获取详细的招聘内容
    职位名称   职位类别   人数 地点 发布时间
    入口地址:https://hr.tencent.com/position.php
2.源码分析
    获取所有行://tr[@class='even']|//tr[@class='odd']
    获取下一页地址://a[@id='next']
3.代码实现
'''

starturl = 'https://hr.tencent.com/position.php'
'''
一.请求入口地址
'''
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
          }

page = 1
while True:
    num = 1
    response = requests.get(starturl, headers = headers).text
    '''
    二.提取内容
    '''
    # 解析源码
    html = etree.HTML(response)
    # 获取所有的行
    tr = html.xpath("//tr[@class='even']|//tr[@class='odd']")
    # 遍历获取每一行的内容
    jobdic = {}
    for i in tr:
        jobdic['title'] = i.xpath('string(td[1])')
        jobdic['type'] = i.xpath('string(td[2])')
        jobdic['num'] = i.xpath('string(td[3])')
        jobdic['addr'] = i.xpath('string(td[4])')
        jobdic['date'] = i.xpath('string(td[5])')

        print('第{0}页第{1}条信息'.format(page,num))
        num += 1
    #     保存数据
    with open('tencent.txt', 'a+', encoding = 'utf-8 ') as file:
        file.write(jobdic['title']+'::')
        file.write(jobdic['type']+'::')
        file.write(jobdic['num']+'::')
        file.write(jobdic['addr']+'::')
        file.write(jobdic['date']+'\n')
    # 翻页,获取下一页
    nextpage = html.xpath("//a[@id='next']/@href")

    if nextpage[0] == 'javascript:;':
        break
    else:
        starturl = 'https://hr.tencent.com/'+nextpage[0]
        page+=1
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值