本文介绍了一个后端爬虫如何处理陕师大研究生网的内网认证问题，包括通过抓包分析获得COOKIE、理解POST认证过程以及构造认证请求的详细步骤。关键点在于验证码图片请求时设置的cookie，以及从网页中提取隐藏的CSRF_TOKEN。使用redis存储cookies，flask作为后端，结合requests库进行请求。提供了代码参考链接。
说明
- 需求：后端爬虫，实现爬取图片返回前端，前端填完表之后后端爬取相应信息。
- redis, flask:redis存cookies，flask做后端
- requests:没什么特别复杂的，关键的是弄清楚常用库函数的使用，抓包分析的时候搞清楚网站的认证逻辑
- 请求网址：陕师大研究生网（内网才能访问）
三步采坑指南
Step1 抓包分析得到COOKIE
最关键的一点就在这，分析 什么时候设置的cookie
第一次请求的时候，并没有设置cookie，cookie是在请求验证码图片的时候才设置的
Step2 分析POST认证过程
form data带着隐藏的CSRF_TOKEN，所以应该在网页中去找哪里存了这三个值
最低0.47元/天 解锁文章
6775
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
