Python爬虫:爬取“Boss直聘”招聘数据

hello 大家好~
又是元气满满的一天呢~
既然元气满满,要不要搞点事情,譬如说,爬取“Boss直聘”(此处模仿歪果仁讲话更带感)的招聘数据~
说走咱就走,说干咱就干~“Boss直聘”薅羊毛教程如下:

内容包括:
一、分析网站
二、源代码

一、分析网站
1.这是“Boss直聘”的首页:
(这banner绿油油的,好似青青草原)
在这里插入图片描述
(歪果仁小姐姐的歪果口音是不是还很熟悉~)

2.在搜索框内输入:hadoop,跳出页面如下:
在这里插入图片描述
(请忽略我粗糙的画笔,因为我是个糙汉子)

3.分析网页:
按下F12,或者“单击鼠标右键–>检查”,打开“开发者工具”,选择“Network”。
在“开发者工具”的Network中可以看到,第一个传回文件的Response中,有整个网页的源代码。
在这里插入图片描述
代码里找到了招聘信息~

  • 11
    点赞
  • 91
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
好的,我们可以使用 Python 中的 requests 库和 BeautifulSoup 库来爬取 BOSS 直聘招聘数据。 首先,我们需要打开 BOSS 直聘网站,搜索我们需要的职位,并复制浏览器地址栏中的链接,作为我们爬取的 URL。 接下来,我们可以使用 requests 库向该 URL 发送请求,并使用 BeautifulSoup 库解析 HTML 文档,提取我们需要的招聘信息。 以下是示例代码: ```python import requests from bs4 import BeautifulSoup url = 'https://www.zhipin.com/job_detail/?query=python&city=101010100&industry=&position=' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') job_list = soup.find('div', class_='job-list').find_all('li') for job in job_list: job_name = job.find('div', class_='job-title').text.strip() company_name = job.find('div', class_='company-text').find('h3').text.strip() salary = job.find('span', class_='red').text.strip() print(job_name, company_name, salary) ``` 在上述代码中,我们首先定义了我们需要爬取的 URL,以及请求头 headers。然后,我们使用 requests 库向该 URL 发送请求,并使用 BeautifulSoup 库解析 HTML 文档。 在解析 HTML 文档后,我们使用 find() 方法找到 class 为 job-list 的 div 标签,并使用 find_all() 方法找到其下所有的 li 标签,即每个招聘信息。 接下来,我们使用 find() 方法分别找到每个招聘信息的职位名称、公司名称和薪资,并使用 strip() 方法去除空格和换行符。 最后,我们将这些信息打印出来,即可得到我们需要的招聘数据。 需要注意的是,BOSS 直聘的网页结构可能会有所变化,上述代码仅供参考。另外,爬取网页数据需要遵守相关法律法规,不得用于商业用途。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值