Java实现从学校教务网上爬取数据（一）—— 虚拟登陆

最新推荐文章于 2024-09-06 11:16:49 发布

hdx1996

最新推荐文章于 2024-09-06 11:16:49 发布

阅读量5.6k

点赞数 3

分类专栏： Java 文章标签： java 教务网 HttpClient 爬虫

本文链接：https://blog.csdn.net/hdx1996/article/details/51917794

版权

本文介绍了使用Java通过HttpClient进行教务网的虚拟登录，分为两个步骤：获取POST请求所需的Name参数；发送POST请求并验证返回的cookie是否有效，以此实现爬取学校教务网数据。

摘要由CSDN通过智能技术生成

<span style="font-family: 'Microsoft YaHei'; font-size: 14px; background-color: rgb(255, 255, 255);">以前看到一些类似课程格子和超级课程表这样的app，感觉都有种高大上的感觉，毕竟可以通过教务网数据从别人的网页上爬到数据，那时的我都不懂这个叫做爬虫程序。这个暑假的课程实践里需要从自家学校的教务网上获取课程表信息，为Android的开发拟写后台的爬虫程序，经过大概一个晚上奋斗，借鉴多方面的资料，最终实现了这个功能，这里把我自己实践过程做一下记录。</span>

第一步：获得post发送的Name

这里我需要简单解释一下HTTP协议中get和post这两种表单提交方式的区别。get是从服务器上获取数据，post是向服务器传送数据。get是把参数数据队列加到提交表单的ACTION属性所指的URL中，值和表单内各个字段一一对应，在URL中可以看到。post是通过HTTP post机制，将表单内各个字段与其内容放置在HTML HEADER内一起传送到ACTION属性所指的URL地址，用户看不到这个过程。从安全性来讲，post比get更安全，而且post的一次传送的数据容量大于get。get一般传送的