Scrapy爬虫自动登录:Post登录页面+登录后针对特定页面中的API发起带参(json格式)post请求+打印API返回的数据
写在前面:通过本文,可以学习到一般Post登录及一般API请求发起的方法。当然,如果读者朋友还不熟悉Python基础语法、如何创建Scrapy项目、Http协议基础,请先移步熟悉。背景:笔者希望通过Scrapy爬取内部管理系统的数据,进行二次分析等后续工作。使用工具:Windows 10系统、Pycharm、Scrapy 2.1.0、Chrome域名:www.example.com(此处用示例域名代替,避免敏感信息泄露)登录入口页面:http://www.example.com/log
原创
2020-11-20 20:54:52 ·
1202 阅读 ·
1 评论