python爬虫 - 初识requests模块

已于 2024-10-08 08:25:58 修改
阅读量843 收藏 39
点赞数 53
分类专栏： python爬虫 文章标签： python 爬虫 开发语言
于 2024-10-07 08:21:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86688088/article/details/142668388
版权

  🌈个人主页：https://blog.csdn.net/2401_86688088?type=blog
🔥 系列专栏：https://blog.csdn.net/2401_86688088/category_12797772.html

目录

前言

一、主要功能和特点

二、安装requests库

（一）使用 pip 安装

（二）检查安装是否成功

（三）版本管理

三、发起网络请求

（一）发送 GET 请求

（二）发送 POST 请求

（三）发送带参数的 GET 请求

（四）发送带请求头的请求

四、requests库常用属性

（一）response.status_code

（二）response.text

（三）response.json()

（四）response.content

（五）response.headers

（六）response.url

（七）response.cookies

（八）response.history

（九）response.encoding

五、text与content方法的区别

（一）response.text

（二）response.content

（三）区别总结

前言

requests 是一个用于发送 HTTP 请求的 Python 库，设计简单且功能强大，能够轻松实现与 Web 服务器的交互。相比于 Python 内置的 urllib 模块，requests 更加简洁且易于使用，允许开发者快速构建 HTTP 请求，处理响应数据，并支持复杂的功能，如会话处理、文件上传、参数传递等。

一、主要功能和特点

requests 库的主要特点包括：

  1. 易于使用：通过简单的 API 来实现常见的 HTTP 操作，如 GET、POST、PUT、DELETE 等。

  2. 自动处理编码和解码：自动检测和解码响应的字符编码。

  3. 支持会话：可以在多次请求中保持会话状态，如处理 cookies。

  4. 简单的 JSON 处理：轻松解析和生成 JSON 数据。

  5. 文件上传与下载：支持文件流的上传与下载操作。

  6. 支持 SSL、代理和超时：方便配置 SSL 证书、代理服务器，以及设置请求的超时时间。

二、安装requests库

安装 requests 库非常简单，可以通过 pip 来安装。

（一）使用 pip 安装

打开命令行或终端，输入以下命令即可安装 requests：

pip install requests

（二）检查安装是否成功

安装完成后，可以在 Python 环境中导入 requests 模块，检查是否成功安装：

import requests

print(requests.__version__)  # 输出 requests 的版本号

如果没有报错且成功输出版本号，说明 requests 库已成功安装并可以使用。

（三）版本管理

在安装时，如果想指定安装某个版本，可以通过以下命令：

pip install requests==2.25.1  # 安装特定版本

如果想更新到最新版本，可以使用以下命令：

pip install --upgrade requests

三、发起网络请求

在 Python 中使用 requests 模块可以轻松发送网络请求，并通过丰富的属性来处理请求和响应。

（一）发送 GET 请求

GET 请求用于从服务器获取数据，是最常见的 HTTP 请求方法。使用 requests.get() 发送请求非常简单：

import requests

response = requests.get('https://jsonplaceholder.typicode.com/posts/1')
print(response.text)  # 输出响应内容

（二）发送 POST 请求

POST 请求用于向服务器提交数据，如表单或 JSON 数据。你可以通过 requests.post() 发送 POST 请求：

import requests

url = 'https://jsonplaceholder.typicode.com/posts'
data = {'title': 'foo', 'body': 'bar', 'userId': 1}

response = requests.post(url, json=data)
print(response.json())  # 输出 JSON 格式的响应内容

（三）发送带参数的 GET 请求

在 URL 中添加查询参数时，可以通过 params 参数传递：

params = {'userId': 1}
response = requests.get('https://jsonplaceholder.typicode.com/posts', params=params)
print(response.url)  # 输出构造好的请求URL

（四）发送带请求头的请求

如果需要定制请求头（如模拟浏览器请求），可以通过 headers 参数来设置：

headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get('https://jsonplaceholder.typicode.com/posts/1', headers=headers)
print(response.text)

四、requests库常用属性

requests 的响应对象包含了许多有用的属性，帮助开发者处理和分析 HTTP 响应。

（一）response.status_code

该属性返回 HTTP 状态码，表示请求的结果。例如，200 表示请求成功，404 表示页面未找到。

print(response.status_code)  # 输出状态码，如200

（二）response.text

返回服务器响应的文本内容。通常用于处理 HTML、纯文本格式的响应。

print(response.text)  # 输出响应的文本内容

（三）response.json()

如果服务器响应的数据是 JSON 格式，response.json() 可以将其解析为 Python 字典或列表。

print(response.json())  # 解析并输出 JSON 数据

（四）response.content

返回响应的二进制数据。适合用于下载图片、视频等非文本数据。

response = requests.get('https://example.com/image.png')
with open('image.png', 'wb') as f:
    f.write(response.content)  # 下载并保存图片

（五）response.headers

返回响应的头部信息，类型为字典，可以用来获取服务器返回的元数据。

print(response.headers)  # 输出响应头

（六）response.url

返回发送请求时的完整 URL，适合用于调试请求路径是否正确。

print(response.url)  # 输出请求的 URL

（七）response.cookies

返回服务器在响应中设置的 cookies。通常用于会话管理或模拟浏览器行为。

print(response.cookies)  # 输出响应中的 cookies

（八）response.history

如果请求被重定向（如 301、302），response.history 会保存重定向前的响应信息，类型为列表。

print(response.history)  # 如果有重定向，会输出重定向的历史

（九）response.encoding

用于获取或设置响应的编码方式。如果响应的文本编码不正确，可以手动设置：

response.encoding = 'utf-8'
print(response.text)

五、text与content方法的区别

requests 库中的 text 和 content 方法都是用于获取 HTTP 响应内容的属性，但它们之间存在一些关键区别。了解这些差异可以帮助你根据不同的需求选择合适的方式来处理响应内容。

（一）response.text

  • 返回值：text 属性返回的是一个 字符串（str） 类型，它会根据响应内容的编码自动解码为文本。

  • 编码处理：requests 库会根据 Content-Type 头中的字符集（如 utf-8、ISO-8859-1 等）自动进行编码解析。如果服务器未明确指定编码，requests 会尝试根据响应内容进行推断，但这可能不总是准确。

  • 适用场景：text 属性适用于处理已经是文本数据的内容，例如 HTML、JSON、XML 或纯文本。

示例：

import requests

response = requests.get('https://example.com')
print(response.text)  # 返回的内容是经过解码的字符串

如果编码推断不正确，你可以手动设置编码：

response.encoding = 'utf-8'
print(response.text)

（二）response.content

  • 返回值：content 属性返回的是 原始的二进制数据（bytes），它不会对数据进行解码。无论响应的编码是什么，content 都会以字节流的方式原样返回。

  • 适用场景：content 适合用于处理 非文本数据，如图片、视频、音频、PDF 文件等，或需要以二进制方式处理的内容。它确保你能获取到响应的原始数据而不被编码影响。

示例：

import requests

response = requests.get('https://example.com/image.jpg')
with open('image.jpg', 'wb') as f:
    f.write(response.content)  # 将二进制数据写入文件

（三）区别总结

  • text 返回的是经过解码的字符串，它依赖于响应的编码，因此适用于需要处理文本内容的场景（如 HTML、JSON、XML）。

  • content 返回的是原始的二进制数据，不会自动进行编码转换，适合处理二进制文件或需要保存原始响应内容的场景。

举例：

假设我们有一个请求，它返回的是一个带有 utf-8 编码的 HTML 页面：

import requests

response = requests.get('https://example.com')

# 通过 .text 获取解码后的文本
print(response.text)  # 这是一个已解码的字符串

# 通过 .content 获取原始的字节数据
print(response.content)  # 这是一个字节流

使用 text 时，返回的内容是解码后的文本字符串，而 content 返回的则是页面的原始字节数据。如果你打算处理图像、音频或其他二进制数据，应使用 content；而如果你处理的是网页文本或 JSON 数据，应使用 text。

易辰君
关注
专栏目录
Python爬虫----初识爬虫
Python_TZ的博客
06-01 526
待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面而决定这些URL排列顺序的方法，叫做抓取策略爬虫策略主要有以下几种：一，深度优先遍历策略：深度优先遍历测试是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路的链接之后，在再转入下一个起始页，继续跟踪链。ps:事多有时候反倒会耽误事。1）请求方式，请求方式主要包含get，post，另外还有put，head，delete，options等，但我们常用的、常见的还是get和post请求。
Python爬虫超级大神班-requests进阶-初识反爬- Scrapy处理翻页与实现模拟登录
08-03
Python爬虫超级大神班 05-异步爬虫 04-requests进阶-初识反爬 03-数据解析 02-爬虫概念 01-Python基础 6.9 Scrapy处理翻页与实现模拟登录1 .mp4 817.6MB 6.8 Scrapy实战案例一1 .mp4 694.7MB 6.7 Scrapy基本...
python爬虫 - 初识爬虫
易辰的博客
10-04 8094
Python 爬虫是一种通过编写程序自动化访问网页并从中提取信息的技术，通常用于从互联网上收集数据。它能够模拟用户浏览器行为，自动加载网页、抓取数据，并将所需信息存储在数据库或文件中，供后续分析使用。Python 是进行爬虫开发的常用语言，因为它拥有丰富的第三方库和简单易懂的语法，能够快速开发高效的爬虫。整个爬虫流程包括从请求网页、解析数据到数据清洗、存储和反爬机制的处理。流程的每一步都可以根据实际需求进行调整和优化。以下是常见的爬虫流程图示：明确抓取目标发送 HTTP 请求解析网页数据提取。
初识Python爬虫-requests模块
wangzilong_2019的博客
01-04 264
爬虫简介 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程 爬虫在场景中的分类 通用爬虫 抓取系统的重要组成部分，抓取的是一整张页面的数据 聚焦爬虫 是建立在通用爬虫的基础上，抓取的是页面中的的特定的局部内容 增量式爬虫 检测网站中的数据更新情况，只会抓取网站中最新更新出来的数据 反爬机制 门户网站，通过制定相关的策略或是技术网站，防止爬虫程序进行数据的爬取 反反爬策略 爬虫程序可以通过制定相关的策略或技术手段，破解门户网站中具备的反爬机制，从而获取门户网站中的数据 robots.tx
python爬虫-初识Scrapy框架
weixin_52924358的博客
02-03 906
Scrapy框架组成： 引擎（Scrapy）: 用来处理整个系统的数据流处理及触发事务，是框架的核心。 调度器（Scheduler）： 用来接收引擎发过来的请求，将请求放入队列中，并在引擎再次请求的时候返回。它决定下一个要抓取的网址，同时担负着网址去重这一重要工作。 下载器（Downloader）： 用于下载网页内容，并将网页内容返回给爬虫。下载器的基础是twisted——一个Python网络引擎框架。 爬虫（Spiders）: 用于从特定的网页中提取自己需要的信息，即Scrapy中所谓的实
python爬虫---初识爬虫
xiaocai281的博客
10-09 220
我们开始来谈谈python的爬虫。 1.什么是爬虫： 　　网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网，我们的爬虫就犹如一个蜘蛛，当在互联网遇到所需要的资源，我们就会爬取下来，即为爬虫是一个请求网站并且提取数据的自动化程序。 2.下面我们来提到两个名词： 　　1）请求，request即为我们的请...
python爬虫-初识爬虫
小二温华
10-13 602
学习python的爬虫需要的基础知识 python语言基本知识 python环境配置的基本知识 python面向对象的基本知识 正则表达式 http与https协议 学习应用层协议http和https需要知道的常见的应用架构 c/s client server 客户端 服务端 ：网络游戏 b/s browser server 浏览器 服务端 ：淘宝，天猫 m/s mobile serv...
学习Python爬虫 - 初识爬虫
dandan_yang的博客
05-28 998
先弄清楚自己为什么要学习爬虫知识？- 基于专业版数据的特性，对业务数据进行测试分析，检验数据的准确性和有效性。对于零基础的小白，可以分为3个阶段来实现：--第一阶段：入门。 掌握必备的基础知识，如python基础、网络请求的基本原理--第二阶段：模仿。看着别人的爬虫代码，弄懂，了解主流爬虫工具--第三阶段：自己动手，根据自己的解题思路，独立设计爬虫系统知识储备python基础：基本语法，函数、类、...
【Python爬虫】初识爬虫及requests模块入门
一以贯之的努力 不得懈怠的人生
07-31 1975
“爬虫”，按照特定程序，沿着一定的路径，模拟人工操作，从网站、应用程序等终端呈现的平台上去提取和存储数据。随着大数据等技术的发展，网络爬虫的影响力逐渐增加，不仅爬数、甚至于抢票、盗号、供给计算机系统等，也都有爬虫的身影。......
002.Python爬虫系列-初识协议
08-30
* 网络协议指的是计算机网络中互相通信的对等实体之间交换信息时所必须遵守的规则、标准和规范的集合 * 用于确保网络中的设备能够相互理解和通信，实现数据的传输和共享 * 那些由不同厂商的设备、不同的CPU以及不同...
少儿编程python教案-初识Python.pptx
06-13
网络爬虫则利用Python的requests、BeautifulSoup等库抓取网页数据；在科学计算中，如matplotlib和numpy库支持复杂的数值运算和可视化；游戏开发中，Python也可以作为辅助工具进行逻辑控制和原型设计。 在少儿编程...
详解python爬虫系列之初识爬虫
09-19
初识Python爬虫，我们需要了解其基本原理和常用库。本文将通过实例介绍如何使用requests和BeautifulSoup两个核心库进行简单的网页抓取。 首先，requests库是Python中用于发送HTTP请求的库，它能够模拟浏览器行为，...
Python3 解释器
Java_fenxiang的博客
10-05 321
Linux/Unix的系统上，一般默认的 python 版本为 2.x，我们可以将 python3.x 安装在/usr/local/python3目录中。安装完成后，我们可以将路径/usr/local/python3/bin添加到您的 Linux/Unix 操作系统的环境变量中，这样您就可以通过 shell 终端输...
task【XTuner微调个人小助手认知】
最新发布
m0_53291740的博客
10-07 697
下面我们将根据项目的需求一步步的进行修改和调整吧！在 PART 1 的部分，由于我们不再需要在 HuggingFace 上自动下载模型，因此我们先要更换模型的路径以及数据集的路径为我们本地的路径。为了训练过程中能够实时观察到模型的变化情况，XTuner 贴心的推出了一个。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 501
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1345
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Mopes__的博客
10-01 430
Python | Leetcode Python题解之第448题找到所有数组中消失的数字
Python编写的贪吃蛇小游戏
WwLK123的博客
10-03 479
Python编写贪吃蛇小游戏。
评论 51
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值