教务系统爬虫 采坑指南

最新推荐文章于 2021-07-21 09:51:20 发布
最新推荐文章于 2021-07-21 09:51:20 发布
阅读量942 收藏 1
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42443066/article/details/89470256
版权

说明

  • 需求：后端爬虫，实现爬取图片返回前端，前端填完表之后后端爬取相应信息。
  • redis, flask:redis存cookies，flask做后端
  • requests:没什么特别复杂的，关键的是弄清楚常用库函数的使用，抓包分析的时候搞清楚网站的认证逻辑
  • 请求网址：陕师大研究生网（内网才能访问）

三步采坑指南

Step1 抓包分析得到COOKIE

最关键的一点就在这，分析 什么时候设置的cookie
首次请求
第一次请求的时候，并没有设置cookie，cookie是在请求验证码图片的时候才设置的
第一次出现cookies

Step2 分析POST认证过程

分析POST
form data带着隐藏的CSRF_TOKE

最低0.47元/天 解锁文章
他们说
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一个爬进正方教务系统的爬虫的诞生
caterpillarous的博客
10-25 6757
我的新博客地址： http://jujuba.me/ 0x00. 准备工作工具：chromepython一些python库，主要是requests要想爬进教务系统，首先要知道教务系统的网址对吧。这边可以看到网址是http://jwgl.bistu.edu.cn。但是，机智的人都会发现，当你将这个url输入地址栏并按下回车时，网址变了，变成了形如http://jwgl.bistu.edu.cn/(d...
教务处爬虫
abkw75139的博客
09-14 408
教务处爬虫(提交表单模拟登录) 1.尝试分析登陆方式 发现教务处是POST,请求表单的方式获得账号密码. 查看表单格式: Form Data={ ​ muser:学号,(明文显示) ​ passwd:密码,(明文显示) ​ x:点击处横坐标, ​ y:点击处纵坐标 } x,y这两个数据是这个图中LOGIN按钮上的坐标,你鼠标点击它的时候,坐标会发给服务器. 2.用最简单的reque...
武汉大学教务系统爬虫
何加焉的博客
02-03 1838
利用xpath进行数据抓取，存入mongo数据库，有心的同学可以尝试做抢课脚本哦！采用云打码平台进行验证码识别，当然手动输入也不是不可以的。 # -*- coding: UTF-8 -*- _author_ = 'zy' _date_ = '2019/2/1 0001 17:50' import requests import re import sys '''模拟登录''' CaptchaUr...
[python3]北邮教务爬虫
李耳的代码之路
09-13 1718
爬取北邮教务课程成绩的爬虫
java爬虫教务处，思路与感悟
guokun1998的博客
07-08 419
1 需求 闲来无事，想要爬取一下成绩课表等东西，所以目标就是教务处网站 2 准备 我的配置是：windows10，IDEA，谷歌浏览器 3 搭建项目 整个项目是基于maven的，主要用到了两个包 HttpClient以及Jsoup HttpClent主要用来模拟访问的 Jsoup主要用来分析数据的。 pom.xml <dependencies> <depende...
Lcrawl, 一只优雅的正方教务系统爬虫。.zip
09-18
对于教育行业来说，正方教务系统作为广泛使用的管理平台，其数据的抓取有助于数据分析、教学管理以及学生服务等多方面的提升。而“Lcrawl”便是一款专为正方教务系统设计的开源爬虫工具，它旨在优雅、高效地抓取系统...
python电子书爬虫系统源码数据库演示.zip
06-17
标题中的“Python电子书爬虫系统源码数据库演示”表明这是一个使用Python编程语言构建的项目，主要功能是抓取（爬取）电子书相关的数据，并将其存储到数据库中。这个项目可能涉及到了网络爬虫技术、数据分析以及...
易优实验报告管理系统
08-15
《易优实验报告管理系统详解》 易优实验报告管理系统是一款专为...总的来说，易优实验报告管理系统是一个全面的教育科技工具，通过信息化手段提升了实验管理的效率和质量，对于提升教学效果和科研水平具有积极意义。
爬虫代码（爬虫小说代码）
02-12
【标题】：“爬虫代码（爬虫小说代码）”揭示了这个压缩包文件的主要内容，即包含用于爬取网络小说的编程代码。爬虫是一种自动提取网页数据的程序，尤其在大数据时代，对于信息的抓取和分析具有重要意义。在这个项目...
基于网络爬虫技术的网络新闻分析.zip
08-05
"【一定要读我】(基于网络爬虫技术的网络新闻分析).txt"可能是项目指南或注意事项，"数据库"可能包含项目中使用的数据库文件。"北京尚学堂"相关的URL可能指向相关的教学资源或课程，对于深入学习和实践该项目非常有...
教务处系统爬虫python代码
04-21
用来登录正方系统的高校教务处系统的爬虫代码，需要输入学好和密码以及下载下来的验证码即可爬虫自动登录。
正方教务系统爬虫
10-02
爬取自己的 课程信息与成绩信息，课程信息可道出为ics文件。无验证码识别，需手动输入。
广工平均绩点生成器
03-26
广工 求平均绩点的，自动生成xls文档，很好用
python爬虫——使用Cookie登录教务系统
Afeng的博客
11-21 791
以Cookie方式登录学校教务系统！
Python初级爬虫——爬取UIBE教务处（requests+bs4）
UIBE_day_day_up的博客
07-21 915
最基础爬虫——Python requests+bs4爬取UIBE教务处 1.使用工具 1.Python 3.x 2.第三方库 requests,bs4 3.浏览器 2.具体思路 UIBE教务处网站开放程度较高，无反爬虫措施，只需要使用最基础的爬虫手段即可。使用requests库获取网页源码，使用bs4中BeautifulSoup库进行网页解析，定位到目标元素即可。 首先得到教务处网站url为：http://jwc.uibe.edu.cn/ 导入两个第三方库： import requests from bs
Python爬内蒙古大学教务处并自动计算绩点（小窗体版）
Ecust_applied_math的博客
08-04 1597
直接上代码(可参考以前爬ecust的备注)from tkinter import * from time import ctime import requests as rq from pyquery import PyQuery as pq def gpa(i):#定义绩点 if i=="优": return 3.7 if i=='合格': retu
从新版教务爬虫到JS逆向
Parallel2333的博客
06-04 588
看提到的原博链接即可 新版正方教务爬虫：https://blog.csdn.net/Koevas/article/details/88384604代码可运行 login_getPublickey.html login_slogin.html的RSA和hex2b64 JS逆向： 百度翻译爬虫：https://blog.csdn.net/hwh1996/article...
使用python在树维教务系统自动抢课
csmoster的博客
03-12 8022
现在不在选课时间，先把之前的代码贴出来，等到下次选课开始再详细说明。 def lesson1(): n=0 classid = '129804' url = 'http://218.29.109.240/eams/stdElectCourse!batchOperator.action?profileId=41' cookie = 'JSESSIONID=8F2...
正方教务管理系统爬虫
最新发布
03-29
正方教务管理系统是一种常见的学校教务管理系统，用于学生选课、查看成绩、查询课表等功能。爬虫是一种自动化程序，可以模拟人的操作，从网页中提取所需的信息。因此，正方教务管理系统爬虫就是通过编写程序，模拟登录正方教务管理系统，获取学生的个人信息、成绩、课表等数据。 正方教务管理系统爬虫的实现一般包括以下几个步骤： 1. 模拟登录：首先需要通过程序模拟登录正方教务管理系统，获取登录凭证（如用户名和密码）。 2. 登录验证：将登录凭证发送给服务器进行验证，确保登录信息正确。 3. 页面解析：登录成功后，爬虫需要解析网页的HTML代码，提取所需的信息。可以使用第三方库（如BeautifulSoup）来解析HTML。 4. 数据提取：根据需求，从解析后的HTML中提取出学生的个人信息、成绩、课表等数据。 5. 数据存储：将提取到的数据存储到数据库或者文件中，以便后续使用或分析。 需要注意的是，在进行正方教务管理系统爬虫时，需要遵守相关法律法规和学校的规定，确保合法使用爬虫技术，并尊重个人隐私。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值