Boss直聘Python爬虫实战

最新推荐文章于 2024-07-03 19:58:12 发布

Python新世界

最新推荐文章于 2024-07-03 19:58:12 发布

阅读量1.5k

点赞数 1

文章标签： python Python编程 Python爬虫网络爬虫编程语言

本文链接：https://blog.csdn.net/weixin_46089319/article/details/105559222

版权

本文介绍了如何使用Python进行Boss直聘的爬虫实战，包括准备工作、爬取城市代码。首先，创建Python文件并安装requests模块。通过分析URL发现城市代码存在于city.json，职位代码在position.json。通过发送GET请求获取数据，并解析返回的JSON，提取所需信息。通过设置伪装头避免被服务器识别为爬虫。最终成功爬取并解析了城市代码。

摘要由CSDN通过智能技术生成

准备工作

新建项目-新建PythonFile
安装爬虫模块
1
pip install requests
requests的常用函数
- request.get()，对应http协议的get请求，也就是把网页下载下来。
- request.post()，对应Http协议的post请求，就是把数据上传到网页服务器。
观察boss直聘的url。
1
https://www.zhipin.com/c101250100-p110101/
- 通过观察发现，后面应该是城市代码和职位代码
- 通过检查-network发现，城市代码应该是储存在city.json里面
- 职位代码应该是储存在position.json里面