python爬虫自动登录_Python 爬虫四 基础案例-自动登陆github

GET&POST请求一般格式

爬取Github数据

GET&POST请求一般格式

很久之前在讲web框架的时候，曾经提到过一句话，在网络编程中“万物皆socket”。任何的网络通信归根结底，就是服务端跟客户端的一次socket通信。发送一个socket请求给服务端，服务端作出响应返回socket给客户端。

在此，就不详细介绍HTTP请求头，网上的大牛博客多的很，这里针对请求头跟请求体，稍微了解下一般规律，只是为了爬虫准备基础。

HTTP请求

既然万物皆socket，那么不论客户端还是服务端拿到的一定是一段socket，说白了就是一串字符串。那么请求头与请求体，或者响应头与响应体是如何解析出来的呢？

这里，先查看下google的network内的请求信息：

无论是请求还是响应都是特别规整的数据。

在Http请求中，请求头跟请求体之间是通过/r/n/r/n分割开的。

请求头内容Accept-Encoding: gzip, deflate, br/r/nContent-Type: application/x-www-form-urlencoded/r/n......./r/n/r/n请求体

如上的一串字符串、会根据/r/n/r/n解析出来请求头跟请求体，然后根据/r/n来换行。

响应体也是一样的套路。

唯一需要特殊