一 目标
以Github为例实现模拟登陆的过程,同时爬取登录后才可以访问的页面信息,如好友动态、个人信息。登录后可以看到这些信息,退出后就看不到这些信息了。
二 环境准备
安装好lxml和requests库。
三 分析登录过程
1 先退出登录,同时清除Cookies
2 打开https://github.com/login,用Google开发者工具进行登录抓包
3 点击登录后的抓包见下图:
Header中包括Cookies、Host、Origin、Referer、User-Agent等,Form Data则包括5个字段。
4 截获Cookies和authenticity_token
先退出登录,回到登录页,同时清空Cookies,重新访问登录页,截获发生的请求。
在Response Headers有一个Set-Cookie字段。这就是设置Cookies的过程。
authenticity_token隐藏在网页的源代码中,见下面抓包。