Python爬取boss直聘关于python招聘数据，高薪总是让人那么羡慕

开发工具

---

• Python 3.6.5

• Pycharm

import requests

import parsel

import csv

import time

相关模块可用pip命令安装

网页数据分析

---

如图所示，这些数据都是今天要获取的内容

一、打开开发者工具

---

可以看网页给我们返回的数据，复制数据，到response里面搜索，看请求网页返回的数据当中是否有需要的数据。

import requests # pip install requests

url = ‘https://www.zhipin.com/c100010000/?query=python&page=1&ka=page-1’

headers = {} # headers 复制开发者工具当中的即可

response = requests.get(url=url, params=params, headers=headers)

print(response.text)

二、分析网页数据结构

---

选择开发者工具中的 Elements 选择箭头 选择网页的数据，会自动跳转到网页标签中，告诉你这个数据是在网页标签里面的哪个位置。

如上图所示，每个企业招聘的数据都在 li 标签里面，我们只需要通过数据解析，提取所需要的数据即可。

import parsel # pip install parsel

response.encoding = response.apparent_encoding

selector = parsel.Selector(response.text)

lis = selector.css(‘#main .job-list ul li’) # 获取所有li标签

‘’’

通过获取网页中所有li标签，然后循环遍历，再分别提取li标签中所需要的数据

‘’’

dit = {}

创建一个字典接受数据，方便后续保存数据

for li in lis:

title = li.css(‘.job-name a::attr(title)’).get() # 标题

dit[‘标题’] = title

area = li.css(‘.job-area::text’).get() # 地区

dit[‘地区’] = area

xz_info = li.css(‘.red::text’).get() # 薪资

dit[‘薪资’] = xz_info

xl_list = li.css(‘.job-limit p::text’).getall() # 学历经验

xl_str = ‘|’.join(xl_list)

dit[‘学历经验’] = xl_str

js_list = li.css(‘.tags span::text’).getall() # 技能要求

js_str = ‘|’.join(js_list)

dit[‘技能要求’] = js_str

company = li.css(‘.company-text .name a::attr(title)’).get() # 公司名字

dit[‘公司名字’] = company

gz_info = li.css(‘.company-text p::text’).getall() # 工作类型

gz_str = ‘|’.join(gz_info)

dit[‘工作类型’] = gz_str

fl_info = li.css(‘.info-desc::text’).get() # 福利

dit[‘福利’] = fl_info

三、数据保存

---

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

//img-blog.csdnimg.cn/d29631674929476f9c3b30f7ff58dff0.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA==,size_16,color_FFFFFF,t_70)