#文章首发于公众号“如风起”。
原文链接:Python随笔|抓取研招网调剂信息mp.weixin.qq.com
前一段时间为了帮助同学更方便的获取研招网的调剂信息就写了一小段抓取研招网调剂信息的代码。
代码没有什么难度,不过蛮有意思的,所以分享一下编写代码的过程、思路和代码,如果刚好有正在学习python的小伙伴可以练练手,一起交流学习。
这里只写了抓取模糊查询的结果,精确查询的代码和模糊查询的类似,只是传入的post参数有些许的不同。Python版本:Python 3.8.0
操作平台:PyCharm
使用的库:requests、json
首先,我们进入研招网的调剂信息的页面。
研招网是需要先登录然后才能查看调剂信息,所以代码里可能需要用到模拟登陆。
我们进入调剂信息查询的页面。
看一下当前页面的源代码。通过查找,可以发现,我们要抓取的信息并不在网页的源代码里面,说明我们要抓取的信息是动态的。所以,下一步,我们打开开发者工具,进入"Network"。
通过全局搜索"Ctrl + F",我们用关键词"华南理工大学"查询一下,看一下调剂的数据放在了哪里。