fiddler请求转python

苏式糖粥

于 2024-08-16 09:43:38 发布

阅读量85

点赞数

文章标签： fiddler python 前端测试工具开发语言

我整理的一些关于【JSON,Python】的项目学习资料（附讲解～～）和大家一起分享、学习一下：

https://d.51cto.com/Hpqqk2

Fiddler请求转Python：高效的数据抓取与处理

在网络开发与数据分析的工作中，抓取HTTP请求和响应是一个常见的需求。今天，我们将探讨如何使用Fiddler抓取网络请求，并将其转化为Python代码，方便后续的数据处理。通过这些步骤，我们将会创建一个完整的工作流程，包括说明Fiddler如何捕获请求，以及如何将其转换为Python代码的示例。

什么是Fiddler？

[Fiddler]( 是一个免费的Web调试代理，用于记录HTTP(S)流量，它可以帮助开发者分析和调试Web应用程序。Fiddler能够捕获从浏览器或移动设备到网络的所有请求，并以易读的格式展示。这使得它成为网络开发人员的得力工具。

Fiddler的基本使用

下载并安装Fiddler。
启动Fiddler，确保它能够捕获HTTP或HTTPS请求。
在你的浏览器中，访问你感兴趣的网站。
在Fiddler的流量视图中，你将看到所有的请求和响应。
选择一个请求，右键点击，并选择“Copy” -> “Copy as cURL”（这将把请求转换为cURL格式）。

将Fiddler请求转换为Python代码

Fiddler能够将请求转换为cURL格式，接下来我们将使用Python中的requests库进一步转换这个cURL命令，以便于我们的使用。

1. 安装requests库

在开始之前，请确保你已经安装了requests库。你可以使用以下命令进行安装：

2. 理解cURL命令

假设我们在Fiddler中获取到以下的cURL命令：

3. 将cURL命令转为Python代码

我们可以借助requests库轻松将其转换为Python代码。以下是相应的Python代码示例：

import requests

# 请求的URL
url = "

# 请求头
headers = {
    "accept": "application/json",
}

# 发送GET请求
response = requests.get(url, headers=headers)

# 打印响应
print(response.json())

4. 代码解释

在上面的代码中：

首先导入了requests库。
定义了请求的URL和请求头。
使用requests.get()方法发送GET请求。
最后，通过response.json()方法打印出服务器返回的JSON响应。

序列图：请求处理流程

接下来我们将使用Mermaid语法绘制一个简单的序列图，以说明请求的处理流程。

饼状图：网络请求类型分布

在数据抓取和分析中，了解不同HTTP请求类型的分布也是至关重要的。以下是一个使用Mermaid语法绘制的饼状图，展示不同请求类型的分布情况。

使用Python进行数据分析

获取了数据后，我们通常需要对其进行分析。以我们使用的API为例，我们可以将返回的数据进行简单的分析，例如统计文章的数量。

以下是对API返回的JSON数据执行简单分析的Python示例：

import requests

# 请求的URL
url = "

# 发送GET请求
response = requests.get(url)

# 解析JSON数据
data = response.json()

# 统计文章数量
article_count = len(data)

# 打印结果
print(f"文章总数: {article_count}")