在爬取数据时,有时会发现,有一些网站需要登录才能获取到数据。
面对这样的情况,就必须用到模拟登录。
我们就来试着模拟登录,我看过一些网站,有些登录太简单,而有一些又太难,对于新手比较难上手。我们今天拿GitHub来实战一下,难度不是太高,跟着这篇文章一步一步地做,你一定能够做出来。
今天我们要用的一个工具——Fiddler抓包工具,当然浏览器自带的开发者调试工具也可以,只是不如Fiddler好用。
第一步当然还是分析网页,模拟登录抓包时一定要注意尽量要把所有的数据都抓到,包括从主页面,一直到点击登录的所有数据。
点击图中红色方框处进入登录页面。注意:主页面这个地方是申请账号,不是登录页面。
在这里登录,抓包的时候不用输入正确的账号密码。