Python网络爬虫：使用Requests库精通网络请求

源码分享
https://docs.qq.com/sheet/DUHNQdlRUVUp5Vll2?tab=BB08J2

网络爬虫依赖于强大的库来处理HTTP请求，而Python的Requests库是构建网络爬虫时的首选工具之一。本篇博客将向你介绍如何使用Requests库来发送HTTP请求，并通过具体的代码案例来演示其功能和强大之处。

介绍Requests库

Requests是一个简单而优雅的HTTP库，它允许你以人类可读的方式发送HTTP/1.1请求。无需手动添加查询字符串到URL，或者表单编码POST数据 —— Requests库会自动处理这些操作。

安装Requests库

在开始之前，确保你已经安装了Requests库，如果没有，可以通过pip进行安装：

pip install requests

发送简单的GET请求

最基础的操作是发送一个GET请求到一个网页，让我们从这里开始。

import requests

response = requests.get('https://httpbin.org/get')
print(response.text)

以上代码会获取​​https://httpbin.org/get​​的内容，并打印出来。

添加查询参数

如果你需要发送带参数的GET请求，Requests让这变得非常简单。

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://httpbin.org/get', params=payload)
print(response.url)

Requests会将参数字典转换为URL编码的查询字符串。

发送POST请求

发送POST请求同样简单，如果你想发送一些编码为表单形式的数据，可以这样做：

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://httpbin.org/post', data=payload)
print(response.text)

Requests会自动将字典编码为表单格式。

处理响应内容

Requests可以帮你处理JSON响应内容，无需手动解析JSON。

response = requests.get('https://httpbin.org/get')
if response.status_code == 200:
    data = response.json()
    print(data)

​​response.json()​​方法会解析JSON响应内容并返回一个字典。

定制请求头

你可以发送自定义的HTTP头部到服务器，这在处理爬虫时非常有用，例如模拟浏览器发送请求。

headers = {'user-agent': 'my-app/0.0.1'}
response = requests.get('https://httpbin.org/get', headers=headers)
print(response.text)

使用会话保持Cookies

如果需要在请求之间保持某些状态（比如Cookies），你可以使用Session对象。

s = requests.Session()
s.get('https://httpbin.org/cookies/set/sessioncookie/123456789')
response = s.get('https://httpbin.org/cookies')

print(response.text)

会话可以保持Cookie跨请求。

处理超时

我们通常希望对爬虫的请求时间有所限制，以保证程序不会因为等待一个响应而卡住。

from requests.exceptions import Timeout

try:
    response = requests.get('https://httpbin.org/delay/2', timeout=1)
    print(response.text)
except Timeout:
    print('The request timed out')

​​timeout​​参数告诉Requests最多等待多少秒。

总结

Requests库是构建Python爬虫的有力工具，它简化了HTTP请求的发送与处理。本文介绍了发送GET和POST请求、处理响应、定制请求头、使用会话及处理超时等基础知识，为你的爬虫之旅奠定了坚实基础。