爬虫如何发送 HTTP 请求

爬虫可以使用 Python 中的 requests 库来发送 HTTP 请求。requests 库提供了简单易用的 API，可以方便地发送 GET、POST 等请求，并且支持设置请求头、请求参数、代理等功能。

以下是一个使用 requests 库发送 GET 请求的示例代码：

import requests

url = 'https://www.example.com'
response = requests.get(url)

if response.status_code == 200:
    print(response.text)
else:
    print('请求失败，状态码为：', response.status_code)

在这个示例中，我们首先导入了 requests 库，然后定义了一个 URL，使用 requests.get() 方法发送了一个 GET 请求，并将响应结果保存在 response 变量中。最后，我们判断响应的状态码是否为 200，如果是，则打印响应内容，否则打印请求失败的提示信息。

以下是使用 Python requests 库发送 HTTP GET 请求的示例代码：

import requests

url = 'https://www.example.com'
response = requests.get(url)

print(response.status_code)  # 打印响应状态码
print(response.text)  # 打印响应内容

如果需要发送 POST 请求，可以使用 requests.post() 方法。例如：

import requests

url = 'https://www.example.com/login'
data = {'username': 'your_username', 'password': 'your_password'}
response = requests.post(url, data=data)

print(response.status_code)  # 打印响应状态码
print(response.text)  # 打印响应内容

需要注意的是，爬虫发送 HTTP 请求时需要遵守网站的 robots.txt 协议，不要过度频繁地请求同一个网站，以免被封禁 IP。同时，也需要注意不要发送恶意请求，以免触犯法律。