Day02—快速构造初步Python爬虫请求

在网络爬虫的世界中，了解HTTP协议是至关重要的。HTTP（超文本传输协议）是互联网上应用最为广泛的协议之一，所有的网页传输都依赖于它。

我们要想快速构造初步爬虫请求就必须知道这些基础知识！！！

HTTP协议基础

1. HTTP协议概述

HTTP协议定义了客户端（通常是Web浏览器）与服务器之间的通信规则。它是一种无状态的请求/响应协议，意味着服务器不会保存任何关于客户端请求的状态信息。

每次的请求都是独立的，服务器仅根据当前请求返回响应，而不会考虑之前的交互。

2. HTTP请求

HTTP请求是客户端发起的，用来获取服务器上资源的行为。一个HTTP请求包含以下几个部分：

• 请求行：包括HTTP方法（如GET、POST等）、请求的资源路径和HTTP版本。
• 请求头：包含请求的元数据，如User-Agent（用户代理，用于标识客户端软件）、Accept（客户端能够接收的数据类型）、Host（请求的服务器地址）等。
• 请求体（可选）：对于某些方法（如POST或PUT），请求体包含发送给服务器的数据，如表单数据或文件内容。

3. HTTP响应

服务器在收到客户端的HTTP请求后，会返回一个HTTP响应。HTTP响应同样包含几个部分：

• 状态行ÿ