11.网络爬虫—深入探索Requests库的基本用法

一·概念

requests库是Python中一个非常流行的第三方HTTP库。

它被广泛用于发送各种类型的HTTP请求，因为它简单易用且功能强大。以下是requests库的一些主要特点：

1. 简化HTTP通信：requests库提供了一种简洁的方式来发送HTTP/1.1请求，无需手动处理URL查询字符串或对POST数据进行编码。
2. 高级接口：与Python标准库中的urllib相比，requests提供了更高级的API，使得发送请求和处理响应更加直观和方便。
3. 自动化特性：requests库自动处理连接池和Keep-alive，这些特性有助于提高应用程序的性能和响应速度。
4. 易用的函数：requests库提供了一些简单的函数，如requests.get()、requests.post()等，使得发起HTTP请求变得非常简单。
5. 扩展性：除了基本功能，requests库还支持许多高级功能，如会话管理、SSL证书验证、流式上传和下载等。

二·Requests库安装

1. 打开命令提示符：如果您使用的是Windows操作系统，可以通过按下Win+R组合键来打开运行窗口，然后输入cmd并回车以打开命令提示符。
2. 使用pip安装requests库：在命令提示符中输入python -m pip install requests。这条命令会告诉pip（Python的包管理器）下载并安装requests库。
3. 检查安装情况：安装完成后，您可以尝试输入pip show requests来查看requests库是否已经成功安装以及其版本信息。
4. 验证安装：要验证requests库是否安装成功，您可以在Python环境中尝试导入该库，例如在Python脚本或交互式环境中输入import requests，如果没有报错，则表示安装成功。

pip install requests

三·基本请求

req = requests.get("http://www.baidu.com")
req = requests.post("http://www.baidu.com")
req = requests.put("http://www.baidu.com")
req = requests.delete("http://www.baidu.com")
req = requests.head("http://www.baidu.com")
req = requests.options("http://www.baidu.com")

四·get请求

在Python中，我们可以使用json库将字典转换为JSON格式的字符串，然后将其作为参数传递。

import requests

url = "http://www.baidu.com/s"
params = {'wd': '星河'}
response = requests.get(url, params=params)
print(response.url)
response.encoding = 'utf-8'
html = response.text
# print(html)

五·post请求

在Python中，我们可以使用requests库发送POST请求，并将字典类型的参数转换为JSON格式。

import requests
import json

url = "https://example.com/api"
data = {"key": "value"}
headers = {"Content-Type": "application/json"}

response = requests.post(url, data=json.dumps(data), headers=headers)

在这个例子中，我们首先导入了requests和json库。我们定义了要发送POST请求的URL、要传递的字典类型的参数data以及设置请求头的headers。接着使用requests.post()函数发送POST请求，将字典类型的参数转换为JSON格式，并传递请求头，将响应存储在变量response中。

六·自定义请求头部

在Python中，我们可以使用requests库发送请求时自定义请求头部。：

import requests

url = "https://example.com/api"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Referer": "https://www.google.com/",
    "Accept-Language": "en-US,en;q=0.9"
}

response = requests.get(url, headers=headers)

我们首先导入了requests库，定义了要发送请求的URL以及自定义的请求头部headers。接着使用requests.get()函数发送GET请求，并将自定义的请求头部传递给该函数，将响应存储在变量response中。

七·设置超时时间

在Python中，我们可以使用requests库发送请求时设置超时时间。

import requests

url = "https://example.com/api"
timeout = 5  # 设置超时时间为5秒

try:
    response = requests.get(url, timeout=timeout)
except requests.exceptions.Timeout:
    print("请求超时")

首先导入了requests库，定义了要发送请求的URL以及超时时间timeout，接着使用requests.get()函数发送GET请求，并将超时时间传递给该函数，使用try-except语句捕获超时异常，并在发生超时时打印提示信息。