python网络爬虫入门(六)—— 30余行代码爬取教务网成绩并存入Excel

本文介绍了使用Python网络爬虫抓取教务网成绩并存储到Excel的过程。通过抓包找到真实URL,模拟登录并利用Session保持会话,借助BeautifulSoup解析数据,最后利用xlwt库写入Excel。关键点包括抓包、模拟登录和高效数据处理。
摘要由CSDN通过智能技术生成
“觊觎”教务网不是一天两天了。。


之前试过selenium,结果失败。
昨天爬下来了,发现竟如此简单!
整个过程仅花核心代码30余行。


一、步骤

1、首先查看分析

打开界面是这样

打开界面是这样

查看源码是这样

查看源码是这样

什么都没有,难怪用selenium定位不到了。估计还得配合PhantomJS来渲染页面,麻烦呀。于是想到抓包,一下就抓出来了。

2、抓包
抓包过程就不赘述,详情也可见我上一篇文章
http://www.jianshu.com/p/1f44a9a2ddd8
最终获得成绩的真实URL地址。

3、下载数据
最先是试着不登

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值