爬虫模拟登陆并爬取Github分析

一 目标

以Github为例实现模拟登陆的过程，同时爬取登录后才可以访问的页面信息，如好友动态、个人信息。登录后可以看到这些信息，退出后就看不到这些信息了。

二 环境准备

安装好lxml和requests库。

三 分析登录过程

1 先退出登录，同时清除Cookies

2 打开https://github.com/login，用Google开发者工具进行登录抓包

3 点击登录后的抓包见下图：

Header中包括Cookies、Host、Origin、Referer、User-Agent等，Form Data则包括5个字段。

4 截获Cookies和authenticity_token

先退出登录，回到登录页，同时清空Cookies，重新访问登录页，截获发生的请求。

在Response Headers有一个Set-Cookie字段。这就是设置Cookies的过程。

authenticity_token隐藏在网页的源代码中，见下面抓包。