Java实现从学校教务网上爬取数据(一)—— 虚拟登陆

本文介绍了使用Java通过HttpClient进行教务网的虚拟登录,分为两个步骤:获取POST请求所需的Name参数;发送POST请求并验证返回的cookie是否有效,以此实现爬取学校教务网数据。
摘要由CSDN通过智能技术生成

<span style="font-family: 'Microsoft YaHei'; font-size: 14px; background-color: rgb(255, 255, 255);">以前看到一些类似课程格子和超级课程表这样的app,感觉都有种高大上的感觉,毕竟可以通过教务网数据从别人的网页上爬到数据,那时的我都不懂这个叫做爬虫程序。这个暑假的课程实践里需要从自家学校的教务网上获取课程表信息,为Android的开发拟写后台的爬虫程序,经过大概一个晚上奋斗,借鉴多方面的资料,最终实现了这个功能,这里把我自己实践过程做一下记录。</span>

第一步:获得post发送的Name

这里我需要简单解释一下HTTP协议中get和post这两种表单提交方式的区别。get是从服务器上获取数据,post是向服务器传送数据。get是把参数数据队列加到提交表单的ACTION属性所指的URL中,值和表单内各个字段一一对应,在URL中可以看到。post是通过HTTP post机制,将表单内各个字段与其内容放置在HTML HEADER内一起传送到ACTION属性所指的URL地址,用户看不到这个过程。从安全性来讲,post比get更安全,而且post的一次传送的数据容量大于get。get一般传送的
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值