本文介绍了作者参加爬虫比赛时，利用Python的selenium库爬取某招聘平台大数据工程师职位信息的过程。通过分析网页，发现数据请求未加密但涉及cookie混淆，故采用selenium获取cookie来解决。爬取数据包括工资、经验、地区、学历和行业，存储到MongoDB中。后续将更新关于如何逆向cookie生成逻辑的内容。
最近小编参加了学校的爬虫比赛，由于我是比赛开始后一天我才知道有这个比赛，这个比赛不止需要做爬数据，还需要做数据分析，因此时间比较紧。
本次比赛的主题是围绕着大数据工程师进行数据的爬取和分析。
本次的受害者
aHR0cHMlM2ElMmYlMmZ3d3cubGFnb3UuY29tL2pvYnMvbGlzdF8lRTUlQTQlQTclRTYlOTUlQjAlRTYlOEQlQUU/bGFiZWxXb3Jkcz0mZnJvbVNlYXJjaD10cnVlJnN1Z2lucHV0PQ==
目录：
1、环境
2、分析网站
3、实现爬取
1、环境
Python3.7、requests、selenium
2、分析网站
先打开开发者工具，再在搜索栏中输入大数据
筛选XHR请求很容易就
最低0.47元/天 解锁文章
252
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
