python基础之爬虫模块requests模块详解

requests 是 Python 中最受欢迎的 HTTP 客户端库之一，用于发送各种 HTTP 请求。它被设计成易于使用，使 HTTP 请求变得尽可能简单。由于其简洁和高效的特性，requests 在网络爬虫、数据抓取、测试 API 等领域广泛应用。

主要特性

1. 简单易用:

   • 通过简洁的 API 提供强大的功能，使得发送 HTTP 请求变得非常直观。

2. 支持各种请求类型:

   • 支持所有常见的 HTTP 请求类型，如 GET、POST、PUT、DELETE 等。

3. 自动管理会话:

   • 可以自动处理 Cookies，无需手动管理。

4. 支持 SSL/TLS 验证:

   • 支持 HTTPS 请求，并可自定义 SSL 证书验证。

5. 超时控制:

   • 允许你设置请求超时时间。

6. 异常处理:

   • 明确的错误和异常处理机制。

基本使用示例

安装 requests:

pip install requests

发送 GET 请求

import requests

response = requests.get('https://api.github.com')

# 响应内容
print(response.text)

# JSON 响应体
print(response.json())

# HTTP 状态码
print(response.status_code)

# 响应头
print(response.headers)

发送 POST 请求

import requests

data = {'key': 'value'}
response = requests.post('https://httpbin.org/post', data=data)

print(response.text)

异常处理

import requests
from requests.exceptions import HTTPError

try:
    response = requests.get('https://api.github.com/nonexistent')
    response.raise_for_status()
except HTTPError as http_err:
    print(f'HTTP error occurred: {http_err}')  # 比如：404 Client Error
except Exception as err:
    print(f'Other error occurred: {err}')  # 其他错误
else:
    print('Success!')

使用参数

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://httpbin.org/get', params=payload)

print(response.url)  # 输出构造的 URL

requests 提供了一个易于理解和使用的 API 来发送 HTTP 请求，使其成为 Python 中进行网络请求的首选库。适用于各种级别的用户，从初学者到专业开发人员。

这里先给大家展示一下我进的兼职群和最近接单的截图，小伙伴有需要也可继续往下看.

有需要Python兼职爬虫资料和兼职内推的小伙伴可点下方链接
👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

---------------------------END---------------------------

题外话

感谢你能看到最后，给大家准备了一些福利！

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python兼职渠道推荐*

学的同时助你创收，每天花1-2小时兼职，轻松稿定生活费.

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

若有侵权，请联系删除