使用 mitmproxy + python 做拦截代理

最新推荐文章于 2024-07-28 21:30:09 发布

「已注销」

最新推荐文章于 2024-07-28 21:30:09 发布

阅读量3.7k

点赞数 5

文章标签： python 开发语言网络 java

全网优质文章转载收藏，均不代表本人立场！

本文链接：https://blog.csdn.net/lyshark_lyshark/article/details/125848208

版权

From：https://blog.wolfogre.com/posts/usage-of-mitmproxy https://www.cnblogs.com/H4ck3R-XiX/p/12624072.html http://www.cnblogs.com/grandlulu/p/9525417.html

mitmProxy 介绍：https://blog.csdn.net/h416756139/article/details/51940757
github地址：https://github.com/mitmproxy/mitmproxy
mitmproxy 官网：https://mitmproxy.org mitmproxy 官网文档：https://docs.mitmproxy.org/stable

mitmproxy 官方示例及 API：(推荐从 simple 开始)：https://github.com/mitmproxy/mitmproxy/tree/master/examples

如何突破网站对 selenium 的屏蔽 : https://blog.csdn.net/qq_26877377/article/details/83307208

和 Charles 同样强大的 iOS 免费抓包工具 mitmproxy：http://ios.jobbole.com/91030
朋友圈红包照片 mitmproxy 抓包破解：https://www.jianshu.com/p/4bef2926d8b9
mitmproxy 系列博文：https://blog.csdn.net/hqzxsc2006/article/category/6971655

http proxy 在 web 渗透上占据着非常重要的地位，这方面的工具也非常多，像 burp suite， Fiddler，Charles 简直每个都是搞 web 的必备神器。本文主要介绍 mitmproxy，是一个较为完整的 mitmproxy 教程，侧重于介绍如何开发拦截脚本，帮助读者能够快速得到一个自定义的代理工具。

本文假设读者有基本的 python 知识，且已经安装好了一个 python 3 开发环境。如果你对 nodejs 的熟悉程度大于对 python，可移步到 anyproxy，anyproxy 的功能与 mitmproxy 基本一致，但使用 js 编写定制脚本。除此之外我就不知道有什么其他类似的工具了，如果你知道，欢迎评论告诉我。

1. mitmproxy 是什么

顾名思义，mitmproxy 就是用于 MITM 的 proxy，MITM 即中间人攻击(Man-in-the-middle attack)，mitmproxy 译为中间人代理工具，可以用来拦截、修改、保存 HTTP/HTTPS 请求。以命令行终端形式呈现，操作上类似于Vim，同时提供了 mitmweb 插件，是类似于 Chrome 浏览器开发者模式的可视化工具。中间人代理一般在客户端和服务器之间的网络中拦截、监听和篡改数据。用于中间人攻击的代理首先会向正常的代理一样转发请求，保障服务端与客户端的通信，其次，会适时的查、记录其截获的数据，或篡改数据，引发服务端或客户端特定的行为。

不同于 fiddler 或 wireshark 等抓包工具，mitmproxy 不仅可以截获请求帮助开发者查看、分析，更可以通过自定义脚本进行二次开发。举例来说，利用 fiddler 可以过滤出浏览器对某个特定 url 的请求，并查看、分析其数据，但实现不了高度定制化的需求，类似于：“截获对浏览器对该 url 的请求，将返回内容置空，并将真实的返回内容存到某个数据库，出现异常时发出邮件通知”。mitmproxy 它是基于Python开发的开源工具，最重要的是它提供了Python API，这样就可以通过载入自定义 python 脚本轻松实现使用Python代码来控制请求和响应。这是其它工具所不能做到的。

但 mitmproxy 并不会真的对无辜的人发起中间人攻击，由于 mitmproxy 工作在 HTTP 层，而当前 HTTPS 的普及让客户端拥有了检测并规避中间人攻击的能力，所以要让 mitmproxy 能够正常工作，必须要让客户端(APP 或浏览器)主动信任 mitmproxy 的 SSL 证书，或忽略证书异常，这也就意味着 APP 或浏览器是属于开发者本人的——显而易见，这不是在做黑产，而是在做开发或测试。

那这样的工具有什么实际意义呢？据我所知目前比较广泛的应用是做仿真爬虫，即利用手机模拟器、无头浏览器来爬取 APP 或网站的数据，mitmpproxy 作为代理可以拦截、存储爬虫获取到的数据，或修改数据调整爬虫的行为。

5 种代理模式

事实上，以上说的仅是 mitmproxy 以正向代理模式工作的情况，通过调整配置，mitmproxy 还可以作为透明代理、反向代理、上游代理、SOCKS 代理等，

总共有五种代理模式：

正向代理

1、正向代理(regular proxy)启动时默认选择的模式。是一个位于客户端和原始服务器(origin server)之间的服务器，为了从原始服务器取得内容，客户端向mitmproxy代理发送一个请求并指定目标(原始服务器)，然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。

正向代理：所谓正向代理就是顺着请求的方向进行的代理，即代理服务器他是由你配置为你服务，去请求目标服务器地址。比如我们要去访问国外的网站，我们直接访问不通，那么我们就可以找一个代理服务器为我们服务，我们通过代理服务器请求到国外的网站。对于国外的网站而言，他只知道有一个服务器访问了自己，并不知道这件事你是通过代理服务器访问自己。

一个通俗的例子：你需要钱，C正好有钱，但是C不直接借给你。你和B关系比较好，B可以找C借到钱。你和B沟通后，由B来找C借到钱后在给你。

正向代理类似一个跳板机，代理访问外部资源

正向代理的用途：
　　(1) 通过间接方式，访问原来无法直接访问的资源。
(2) 可以做缓存，加速访问资源
　　(3) 对客户端访问授权，上网进行认证
　　(4) 代理可以记录用户访问记录(上网行为管理)，对外隐藏用户信息

反向代理

2、反向代理(reverse proxy)启动参数 -R host。跟正向代理正好相反，对于客户端而言它就像是原始服务器，并且客户端不需要进行任何特别的设置。客户端向mitmproxy代理服务器发送普通请求，mitmproxy转发请求到指定的服务器，并将获得的内容返回给客户端，就像这些内容原本就是它自己的一样。

反向代理：所谓反向代理正好与正向代理相反，代理服务器是为目标服务器服务的，虽然整体的请求返回路线都是一样的都是Client 到 Proxy 到 Server。比如：我们访问百度网站，百度的代理服务器对外的域名为 https://www.baidu.com 。具体内部的服务器节点我们不知道。现实中我们通过访问百度的代理服务器后，代理服务器给我们转发请求到他们N多的服务器节点中的一个给我们进行搜索后将结果返回。

再举例：我们同样需要钱，但是我们又不知道谁有钱，所以我们找了一家网贷平台，你提交资料后，网贷平台直接将钱打给你。但是你不知道，也不用关注网贷平台的钱从哪里来。网贷平台内部他们可能从哪一个财主哪里融的钱。对你而言网贷平台和他们的金主是一起的。

同样通过上面我们例子可以看到，此时的代理服务器和后面的目标主机是一个系统的(百度公司、网贷平台)。他们是对外提供服务的，所以称为反向代理，代理的是后的人。

反向代理(Reverse Proxy)实际运行方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器

反向代理的作用：
(1)保证内网的安全，阻止 web 攻击，大型网站，通常将反向代理作为公网访问地址，Web 服务器是内网
(2)负载均衡，通过反向代理服务器来优化网站的负载

知乎 https://www.zhihu.com/question/24723688

反向代理和正向代理区别：https://www.cnblogs.com/taostaryu/p/10547132.html

正向代理代理的对象是客户端，反向代理代理的对象是服务端。即 正向代理隐藏真实客户端，反向代理隐藏真实服务端

看图理解 1：

看图理解 2：

正向代理中，proxy 和 client 同属一个 LAN，对 server 透明；
反向代理中，proxy 和 server 同属一个 LAN，对 client 透明。

实际上 proxy 在两种代理中做的事都是代为收发请求和响应，不过从结构上来看正好左右互换了下，所以把后出现的那种代理方式叫成了反向代理

总结

正向代理即是客户端代理，代理客户端，服务端不知道实际发起请求的客户端。正向代理：买票的黄牛
反向代理即是服务端代理，代理服务端，客户端不知道实际提供服务的服务端。反向代理：租房的代理

上行代理

3、上行代理(upstream proxy)启动参数 -U host。mitmproxy 接受代理请求，并将所有请求无条件转发到指定的上游代理服务器。这与反向代理相反，其中 mitmproxy 将普通 HTTP 请求转发给上游服务器。

透明代理

透明代理是指将网络流量直接重定向到网络端口，不需要客户端做任何设置。这个特性使得透明代理非常适合不能对客户端进行配置的时候，比如说 Android 应用等等。

4、透明代理(transparent proxy)启动参数 -T。当使用透明代理时，流量将被重定向到网络层的代理，而不需要任何客户端配置。这使得透明代理非常适合那些无法更改客户端行为的情况 - 代理无聊的 Android 应用程序是一个常见的例子。要设置透明代理，我们需要两个新的组件。第一个是重定向机制，可以将目的地为 Internet 上的服务器的TCP连接透明地重新路由到侦听代理服务器。这通常采用与代理服务器相同的主机上的防火墙形式。比如 Linux 下的 iptables, 或者 OSX 中的 pf，一旦客户端初始化了连接，它将作出一个普通的 HTTP 请求(注意，这种请求就是客户端不知道代理存在)请求头中没有scheme(比如http:// 或者 https:// ), 也没有主机名(比如 example.com )我们如何知道上游的主机是哪个呢？路由机制执行了重定向，但保持了原始的目的地址。
iptable 设置：
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 8080
iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 443 -j REDIRECT --to-port 8080
启用透明代理：mitmproxy -T

启用 SOCKS5 代理

5、socks5 proxy 启动参数 --socks。采用 socks 协议的代理服务器

但这些工作模式针对 mitmproxy 来说似乎不大常用，故本文仅讨论正向代理模式。

mitmproxy 是一款 Python 语言开发的开源中间人代理神器，支持 SSL，支持透明代理、反向代理，支持流量录制回放，支持自定义脚本等。功能上同 Windows中的 Fiddler 有些类似，但mitmproxy是一款console程序，没有GUI界面，不过用起来还算方便。使用mitmproxy可以很方便的过滤、拦截、修改任意经过代理的HTTP请求/响应数据包，甚至可以利用它的scripting API，编写脚本达到自动拦截修改HTTP数据的目的。

# test.py
def response(flow):
    flow.response.headers["BOOM"] = "boom!boom!boom!"

上面的脚本会在所有经过代理的Http响应包头里面加上一个名为BOOM的header。用mitmproxy -s 'test.py'命令启动mitmproxy，curl验证结果发现的确多了一个BOOM头。

$ http_proxy=localhost:8080 curl -I 'httpbin.org/get'
HTTP/1.1 200 OK
Server: nginx
Date: Thu, 03 Nov 2016 09:02:04 GMT
Content-Type: application/json
Content-Length: 186
Connection: keep-alive
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
BOOM: boom!boom!boom!
...

mitmweb 抓包截图：

显然 mitmproxy 脚本能做的事情远不止这些，结合Python强大的功能，可以衍生出很多应用途径。除此之外，mitmproxy还提供了强大的API，在这些API的基础上，完全可以自己定制一个实现了特殊功能的专属代理服务器。

经过性能测试，发现 mitmproxy 的效率并不是特别高。如果只是用于调试目的那还好，但如果要用到生产环境，有大量并发请求通过代理的时候，性能还是稍微差点。

2. 工作原理

mitmproxy 实现原理：

客户端发起一个到 mitmproxy 的连接，并且发出 HTTP CONNECT 请求，
mitmproxy 作出响应 (200)，模拟已经建立了 CONNECT 通信管道，
客户端确信它正在和远端服务器会话，然后启动 SSL 连接。在 SSL 连接中指明了它正在连接的主机名 (SNI)，
mitmproxy 连接服务器，然后使用客户端发出的 SNI 指示的主机名建立 SSL 连接，
服务器以匹配的 SSL 证书作出响应，这个 SSL 证书里包含生成的拦截证书所必须的通用名 (CN) 和服务器备用名 (SAN)，
mitmproxy 生成拦截证书，然后继续进行与第 3 步暂停的客户端 SSL 握手，
客户端通过已经建立的 SSL 连接发送请求，
mitmproxy 通过第 4 步建立的 SSL 连接传递这个请求给服务器。

mitmproxy 工作步骤：

设置系统、浏览器、终端等的代理地址和端口为同一局域网中 mitmproxy 所在电脑的 IP 地址，比如我的 PC 开启 mitmproxy 之后，设置 8080 端口，本地 IP 为 192.168.1.130，那么设置 Android HTTP 代理为 192.168.1.130:8080
浏览器或移动端访问 mitm.it 来安装 mitmproxy 提供的证书
在 mitmproxy 提供的命令行下，或者 mitmweb 提供的浏览器界面中就能看到 Android 端发出的请求。

3. 安装

“安装 mitmproxy”这句话是有歧义的，既可以指“安装 mitmproxy 工具”，也可以指“安装 python 的 mitmproxy 包”，注意后者是包含前者的。

如果只是拿 mitmproxy 做一个替代 fiddler 的工具，没有什么定制化的需求，那完全只需要“安装 mitmproxy 工具”即可，去 mitmproxy 官网上下载一个 installer 便可开箱即用，不需要提前准备好 python 开发环境。但显然，这不是这里要讨论的，我们需要的是“安装 python 的 mitmproxy 包”。

安装 python 的 mitmproxy 包除了会得到 mitmproxy 工具外，还会得到开发定制脚本所需要的包依赖，其安装过程并不复杂。

首先需要安装好 pythonÿ