爬取腾讯招聘Python岗位的信息(BS4)

最新推荐文章于 2021-08-06 14:48:21 发布

Hello_Jandy

最新推荐文章于 2021-08-06 14:48:21 发布

阅读量1.2k

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/weixin_42141853/article/details/80918109

版权

该博客展示了如何利用Python的requests和BeautifulSoup库抓取腾讯网站上Python职位的相关信息，包括岗位名称、链接、人数、地点、发布时间以及工作职责和要求。通过解析HTML页面，实现了对多页职位信息的遍历和提取。

摘要由CSDN通过智能技术生成

import requests
from bs4 import BeautifulSoup
from math import ceil

headers={'User-Agent':'Mozilla/5.0 (Linux; Android 6.'}

#获取岗位页数
def getJobPage(url):

    html=requests.get(url,headers=headers).text
    soup=BeautifulSoup(html,'lxml')
    #获取岗位总数，< span class ="lightblue total" > 510 < / span >
    totalJob=soup.select('span[class="lightblue total"]')[0].text
    jobPage=ceil(int(totalJob)/10)
    return jobPage

def getJobOrder(url):
    html = requests.get(url, headers=headers).text
    soup = BeautifulSoup(html, 'lxml')
    #工作职责
    jobRequests=soup.select('ul[class="squareli"]')[0].text
    #工作要求
    jobOrder=soup.select('ul[class="squareli"]')[1].text
    return jobRequests,jobOrder

#获取岗位信息
def getJobInfo(url):
    html=requests.get(url,headers=headers).text
    soup&