Python知识点：如何使用Mitmproxy进行HTTP/HTTPS流量分析

Mitmproxy 是一个强大的中间人代理工具，可以用来分析和修改 HTTP 和 HTTPS 流量。以下是如何使用 Mitmproxy 进行 HTTP/HTTPS 流量分析的步骤：

安装 Mitmproxy

首先，你需要在系统上安装 Mitmproxy。可以通过以下方式安装：

• 使用 pip 安装:

  pip install mitmproxy
  

• 使用包管理器安装（例如 Ubuntu）:

  sudo apt-get install mitmproxy
  

• Windows/Mac 安装: 你可以从 Mitmproxy官网 下载对应的安装包。

基本使用步骤

1. 启动 Mitmproxy:
   Mitmproxy 提供三种主要模式：mitmproxy（带有交互界面）、mitmdump（命令行模式）和 mitmweb（带有 Web 界面的模式）。

   • 启动带有终端界面的 Mitmproxy：

     mitmproxy
     

   • 启动带有 Web 界面的 Mitmweb：

     mitmweb
     

     Web 界面通常会在 http://localhost:8081 上访问。

2. 配置设备使用 Mitmproxy:
   要捕获设备的流量，需要将设备的 HTTP/HTTPS 代理设置为 Mitmproxy 运行的机器地址和端口（默认为 :8080）。

   • PC 浏览器配置: 在浏览器的网络设置中，将 HTTP 和 HTTPS 代理都设置为 localhost:8080。
   • 移动设备配置: 在 Wi-Fi 设置中，手动设置代理为 Mitmproxy 机器的 IP 地址和端口。

3. 处理 HTTPS 流量:
   Mitmproxy 通过安装自签名证书来解密 HTTPS 流量。你需要在要分析的设备或浏览器上安装 Mitmproxy 的根证书。

   • 访问 http://mitm.it 并下载适合设备平台的证书（例如 iOS、Android、Windows）。
   • 安装并信任这个证书，以便 Mitmproxy 可以解密 HTTPS 流量。

4. 开始捕获和分析流量:
   配置好代理和证书后，Mitmproxy 会开始捕获设备上的所有 HTTP 和 HTTPS 请求和响应。你可以在终端或 Web 界面中查看、过滤和分析这些请求。

5. 使用过滤器:
   Mitmproxy 提供了丰富的过滤和查找功能。例如：

   • 只显示与特定主机相关的流量：

     ~u example.com
     

   • 过滤只显示 POST 请求：

     ~m post
     

6. 修改请求和响应:
   Mitmproxy 允许你在请求或响应通过时对其进行修改。你可以在 mitmproxy 界面中手动修改，或使用 mitmdump 编写 Python 脚本来自动修改流量。

高级使用

• 编写脚本: 你可以编写 Python 脚本来自动处理或修改流量，Mitmproxy 提供了 mitmdump 命令行工具支持这种自动化处理。

  示例脚本（将请求中的 User-Agent 修改为自定义值）：

  from mitmproxy import http
  
  def request(flow: http.HTTPFlow) -> None:
      flow.request.headers["User-Agent"] = "My Custom User-Agent"
  

  启动 mitmdump 并指定脚本：

  mitmdump -s script.py
  

• 数据导出: 你可以将捕获的流量导出为 HAR 格式或其他格式，以便进一步分析。

总结

Mitmproxy 是一个功能强大的工具，适用于 HTTP/HTTPS 流量的分析与修改。通过配置代理、安装证书、使用交互界面或 Web 界面，你可以轻松捕获和分析目标设备的所有流量，甚至可以自动化修改流量以满足更复杂的需求。