手把手教你爬取研招网调剂信息

这篇文章是去年我在博客上写的一篇基础爬虫,利用了简单的Python爬虫来定时收集目标专业的调剂信息,后面也确实帮助我成功上岸。

时间又来到了调剂的时间点,调剂通道已打开,经过热心小伙伴测试,该程序仍能够正常运行,「阅读原文」即可获取源代码。


研究生复试陆续展开,有些学校甚至都已发送拟录取通知,慌张的我昨天刚刚复试完,经历了慌张的考试,慌张地等成绩,慌张地等分数线,慌张地复试,然后我现在在慌张地等待通知。少壮不努力,考研天天愁。真实!

作为守门员要有守门员地自觉,因此我也准备着手调剂,一看,什么科软不收啦,地大关调剂大门啦,这可咋办?

研招网上的调剂信息每20条就要翻页,并且时不时要刷新才能显示信息地bug让人很难受,于是我打算对研招网地调剂信息进行爬取,便于我直接观察,咱们说干就干!

登录研招网,找到指定的调剂信息查询页面,页面链接yz.chsi.com.cn/sytj/tj/

观察页面源代码,清楚的发现具体的信息不在上面,即要爬的对象是动态的,随即打开开发者工具,查询首都师范大学,发现包含在sytjqexxcx.action之中。

点击sytjqexxcx.action,发现该表格信息果然隐藏在json之中


找到了表格所在页面,我们接着来看看该页面的头部信息

Post请求是需要我们提供表单数据的,而该表单数据就在Headers的底部。


发现表单中不包含登录信息,很好,不需要模拟登录了,利用cookie应该可以直接访问,一个action页面有20条数据,继续往下翻,发现网址没有发生改变,但是上图中的start值变为了20,以此类推40,60,80等等。我们仅需要改变表单数据中的start这个参数就可以爬取所有符合条件的数据了。

利用循环,访问页面,将所有信息提取。

通过try..except语句将所有页面访问,利用json库将json转化为list并提取所需要的信息。

for i in range(60):
    if count==0:
        para={
         'pageSize': 20,
         'start': '',
         'orderBy':'' ,
         'mhcx': 1,
         'ssdm2': '',
         'xxfs2': '',
         'dwmc2': '软件',
         'data_type': 'json',
         'agent_from':'wap',
         'pageid': ''
        }
    else:
        para={
         'pageSize': 20,
         'start': count*20,
         'orderBy':'' ,
         'mhcx': 1,
         'ssdm2': '',
         'xxfs2': '',
         'dwmc2': '软件',
         'data_type': 'json',
         'agent_from':'wap',
         'pageid': 'tj_qe_list'
            
            }
    try:
        r=requests.post(url,headers=headers,timeout=30,data=para)
        count+=1
        r.raise_for_status()
        r.encoding='utf-8'
        #print (r.text)
        text=json.loads(r.text)
        content=text['data']['vo_list']['vos']
        #print(content)
    except:
        count+=1

在提取数据的时候发现该信息中的培养方式这一项是用数字1代表全日制,2代表的非全日制,这是一条很关键的信息,利用字典将其转换。

type_dict = {}
type_dict['1'] = "全日制" 
type_dict['2'] = "非全日制"

编写 parse_one_page 函数将从网页上爬取下来的数据按key提取内容,其中对应关系分别为下所示,

def parse_one_page(content):
 
    for item in content:
        yield{
            'school': item['dwmc'],
            'academic': item['yxsmc'],
            'major': item['zymc'],
            'majorID': item['zydm'],
            'schoolID': item['dwdm'],
            'direction':item['yjfxmc'],
            'type':type_dict[str(item['xxfs'])],
            'remain':item['qers'],
            'publish':item['gxsj']
        }
'''
bz: "调剂特殊要求"
dwdm: "单位代码"
dwmc: "单位名称"
fbsjStr: "发布时间"
gxsj: "距离最后更新时间已过xx分钟"
hasit: "考生是否已经填报该志愿 true 或 false"
id: "余额信息ID"
qers: "余额人数"
sfmzyq: "是否满足要求,空为满足要求,非空其内容为不满足要求原因"
ssdm: "省市代码"
xxfs: "学习方式"
yjfxdm: "研究方向代码"
yjfxmc: "研究方向名称"
yxsdm: "院系所代码"
yxsmc: "院系所名称"
zt: "余额状态"
zydm: "专业代码"
zymc: "专业名称"
'''

将提取出来的信息存为csv文件

for item in parse_one_page(content):
        with open('soft.csv', 'a', encoding='utf-8') as csv:
            csv.write(item['schoolID'] + ',' + item['school'] +','+
                       item['academic'] + ',' + item['major'] + ','+ item['majorID']+',' +
                       item['direction']+ ',' + str(item['type'])+','+str(item['remain'])+','+str(item['publish'])+'\n')

这样我们便可以得到所有软件相关的调剂信息数据,如需获取其他专业的调剂信息,改变参数 dwmc2 即可。

爬虫到这就写完了,希望对大家能有所帮助。虽然调剂不是非常好的选择,但如果到了这一步,我还是希望大家能够调整好心态,打好这最后一仗。

加油,奥里给!

——END——

推荐阅读

我用Python在网上复制文字的几种实用方法

石油类专业三个月跨考中科大大数据一志愿上岸

Python&520

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读