python结合mitmproxy做拦截代理

最新推荐文章于 2024-05-09 08:00:29 发布
最新推荐文章于 2024-05-09 08:00:29 发布
阅读量4.2k 收藏 21
点赞数 5
分类专栏： python
原文链接：https://www.cnblogs.com/grandlulu/p/9525417.html
版权

一、mitmproxy介绍

mitmproxy 就是用于 MITM 的 proxy，MITM 即中间人攻击（Man-in-the-middle attack）。用于中间人攻击的代理首先会向正常的代理一样转发请求，保障服务端与客户端的通信，其次，会适时的查、记录其截获的数据，或篡改数据，引发服务端或客户端特定的行为。
mitmproxy可以拦截http和https请求，如果需要拦截https请求需要安装证书

二、mitmproxy安装(windows下)

1. 运行下面命令进行安装

pip install mitmproxy

安装成功后在Python\Scripts的目录下生成下面三个程序
在这里插入图片描述
2. 运行mitmdump命令
运行了上述命令后，在个人电脑用户目录下会生产一个.mitmproxy文件夹
在这里插入图片描述
windows配置证书，双击mimproxy-ca.p12，然后一路点击下一步即可。

3.设置浏览器代理

直接在浏览器设置代理，或者使用谷歌插件SwitchyOmega_Chromium.crx设置代理

4. 启动mitmproxy
mitmweb.exe和mitmproxy.exe是可视化的代理程序
mitmproxy.exe打开会在控制台显示所有代理请求，但是windows下不可用，
mitmweb.exe 会打开默认的浏览器并显示所有代理请求
mitmdump是mitmprxoy的命令行接口，同时还可以对接Python对请求进行处理，有了它我们可以不用手动截获和分析HTTP请求和响应，值需要写好请求和响应的处理逻辑即可

-p 端口号 可指定代理的端口号
在这里插入图片描述

三、mitmdump

1. 把截获的数据保存到文件中，使用-w参数即可

mitmdump -w 文件名

2. 指定脚本scripts.py来处理截获的数据，使用-s参数即可：

mitmdump -s xxx.py

3. 输出日志

ctx.log.info(str("这是一条info日志"))

四、代码示例

1. 拦截请求

from mitmproxy import http, ctx
from multiprocessing import Lock


class Filter:
    def __init__(self, filter_info):
        self.log_info = ""
        self.mutex = Lock()
        self.filter_info = filter_info
        self.response_file = None
        self.switch_on = False
        self.log_file = "log.txt"

    def log(self, info) -> None:
        self.log_info += f"{info}\n\n"

    def write_log(self, mode="w+") -> None:
        self.mutex.acquire()
        with open(self.log_file, mode) as f:
            f.write(self.log_info)
        self.mutex.release()

    def is_target_flow(self, flow: http.HTTPFlow) -> bool:
        for info in self.filter_info:
            if info["str_in_url"] in flow.request.url:
                self.log_file = info["log_file"]
                self.switch_on = info["switch_on"]
                if info["response_file"] != None:
                    self.response_file = info["response_file"]
                return True
        else:
            return False

    def modify_response(self, flow: http.HTTPFlow) -> http.HTTPFlow:
        if self.switch_on and self.response_file:
            with open(self.response_file, "r", encoding="utf-8") as f:
                flow.response.content = f.read().encode()
        return flow

    def request(self, flow: http.HTTPFlow) -> None:
        if self.is_target_flow(flow):
            self.log_info = ""
            self.log(f"——METHOD——\n{flow.request.method}")
            self.log(f"——HOST——\n{flow.request.pretty_host}")
            self.log(f"——URL——\n{flow.request.pretty_url}")
            query = [i + ":" + flow.request.query[i] + "\n" for i in flow.request.query]
            self.log(f"——QUERY STRING——\n{''.join(query)}")
            if flow.request.urlencoded_form:
                form = [i + ":" + flow.request.urlencoded_form[i] + "\n" for i in flow.request.urlencoded_form]
                self.log(f"——FORM——\n{''.join(form)}")
            self.write_log()

    def response(self, flow: http.HTTPFlow) -> None:
        if self.is_target_flow(flow):
            self.log_info = ""
            self.log(f"——RESPONSE before modified——\n{flow.response.content.decode(encoding='UTF-8')}")
            flow = self.modify_response(flow)
            self.log(f"——RESPONSE after modified——\n{flow.response.content.decode(encoding='UTF-8')}")
            self.write_log(mode="a")


filter_info = [
    {
        "str_in_url": "getSimpleNews",
        "log_file": "getSimpleNews_log.txt",
        "switch_on": True,
        "response_file": "getSimpleNews_response.txt",
    },
    {
        "str_in_url": "getQQNewsComment",
        "log_file": "getQQNewsComment_log.txt",
        "switch_on": True,
        "response_file": None,
    }
]
addons = [
    Filter(filter_info)
]

运行mitmproxy指定使用该脚本和端口号即可：

mitmdump -p 8888 -s xxx.py

在mitmdump运行时：

  1. 会拦截url中包含str_in_url字符串的请求

  2. 会把response.content修改为当前mitm运行所在目录下的response_file文件中的内容

  3. 打印信息在当前mitm运行所在目录下的log_file文件中

  4. 如果无需修改response设置switch_on为False即为开关关闭

  5. 如果不修改response的话response_file需要写None

2. 脚本2
实现如下需求：
因为百度搜索是不靠谱的，所有当客户端发起百度搜索时，记录下用户的搜索词，再修改请求，将搜索词改为“360 搜索”；
因为 360 搜索还是不靠谱的，所有当客户端访问 360 搜索时，将页面中所有“搜索”字样改为“请使用谷歌”。
因为谷歌是个不存在的网站，所有就不要浪费时间去尝试连接服务端了，所有当发现客户端试图访问谷歌时，直接断开连接。

# 1. 需要篡改客户端请求，所以实现一个 request 事件：
def request(self, flow: mitmproxy.http.HTTPFlow):
    # 忽略非百度搜索地址
    if flow.request.host != "www.baidu.com" or not flow.request.path.startswith("/s"):
        return

    # 确认请求参数中有搜索词
    if "wd" not in flow.request.query.keys():
        ctx.log.warn("can not get search word from %s" % flow.request.pretty_url)
        return

    # 输出原始的搜索词
    ctx.log.info("catch search word: %s" % flow.request.query.get("wd"))
    # 替换搜索词为“360搜索”
    flow.request.query.set_all("wd", ["360搜索"])

# 2.需要篡改服务端响应，所以实现一个 response 事件：
def response(self, flow: mitmproxy.http.HTTPFlow):
    # 忽略非 360 搜索地址
    if flow.request.host != "www.so.com":
        return

    # 将响应中所有“搜索”替换为“请使用谷歌”
    text = flow.response.get_text()
    text = text.replace("搜索", "请使用谷歌")
    flow.response.set_text(text)

# 3.需求需要拒绝客户端请求，所以实现一个 http_connect 事件：
def http_connect(self, flow: mitmproxy.http.HTTPFlow):
    # 确认客户端是想访问 www.google.com
    if flow.request.host == "www.google.com":
        # 返回一个非 2xx 响应断开连接
        flow.response = http.HTTPResponse.make(404)

创建一个 joker.py 文件，内容为：

import mitmproxy.http
from mitmproxy import ctx, http


class Joker:
    def request(self, flow: mitmproxy.http.HTTPFlow):
        if flow.request.host != "www.baidu.com" or not flow.request.path.startswith("/s"):
            return

        if "wd" not in flow.request.query.keys():
            ctx.log.warn("can not get search word from %s" % flow.request.pretty_url)
            return

        ctx.log.info("catch search word: %s" % flow.request.query.get("wd"))
        flow.request.query.set_all("wd", ["360搜索"])

    def response(self, flow: mitmproxy.http.HTTPFlow):
        if flow.request.host != "www.so.com":
            return

        text = flow.response.get_text()
        text = text.replace("搜索", "请使用谷歌")
        flow.response.set_text(text)

    def http_connect(self, flow: mitmproxy.http.HTTPFlow):
        if flow.request.host == "www.google.com":
            flow.response = http.HTTPResponse.make(404)

创建一个 counter.py 文件，内容为：

import mitmproxy.http
from mitmproxy import ctx

class Counter:
    def __init__(self):
        self.num = 0

    def request(self, flow: mitmproxy.http.HTTPFlow):
        self.num = self.num + 1
        ctx.log.info("We've seen %d flows" % self.num)

创建一个 addons.py 文件，内容为：

import counter
import joker

addons = [
    counter.Counter(),
    joker.Joker(),
]

将三个文件放在相同的文件夹，在该文件夹内启动命令行，运行：

mitmdump -p 8888 -s addons.py

关闭所有 Chrome 窗口，从命令行中启动 Chrome 并指定代理且忽略证书错误。

五、常用接口

#http.HTTPFlow 实例 flow
flow.request.headers #获取所有头信息，包含Host、User-Agent、Content-type等字段
flow.request.url #完整的请求地址，包含域名及请求参数，但是不包含放在body里面的请求参数
flow.request.pretty_url #同flow.request.url目前没看出什么差别
flow.request.host #域名
flow.request.method #请求方式。POST、GET等
flow.request.scheme #什么请求 ，如https
flow.request.path # 请求的路径，url除域名之外的内容
flow.request.get_text() #请求中body内容，有一些http会把请求参数放在body里面，那么可通过此方法获取，返回字典类型
flow.request.query #返回MultiDictView类型的数据，url直接带的键值参数
flow.request.get_content()#bytes,结果如flow.request.get_text() 
flow.request.raw_content #bytes,结果如flow.request.get_content()
flow.request.urlencoded_form #MultiDictView，content-type：application/x-www-form-urlencoded时的请求参数，不包含url直接带的键值参数
flow.request.multipart_form #MultiDictView，content-type：multipart/form-data
时的请求参数，不包含url直接带的键值参数
#以上均为获取request信息的一些常用方法，对于response，同理
flow.response.status_code #状态码
flow.response.text#返回内容，已解码
flow.response.content #返回内容，二进制
flow.response.setText()#修改返回内容，不需要转码
做一个快乐生活的人
关注
  • 5
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
使用 mitmproxy + python 做拦截代理
墨鱼菜鸡
07-11 3587
From：https://blog.wolfogre.com/posts/usage-of-mitmproxy https://www.cnblogs.com/H4ck3R-XiX/p/12624072.htmlhttp://www.cnblogs.com/grandlulu/p/9525417.html mitmProxy 介绍：https:/...
使用mitmproxy做拦截代理进行抓包
qq_34139239的博客
08-28 965
1，安装mitmproxy pip3 install mitmproxy 若报错，根据报错原因，选择需要下载的文件安装 https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml 下载好对应的文件后，进行安装 2，安装whl文件 查看电脑所需对应下载的文件 python import pip._internal print(pip._internal.pep...
2024年Python最全App爬虫神器mitmproxy和mitmdump的使用_mitmproxy 只查看图片(1)，阿里巴巴二面被血虐
2401_84139924的博客
05-09 682
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Python 实现代理拦截http请求：mitmproxy
热门推荐
freeking101的博客
09-07 3万+
http抓包在 web 渗透上占据着非常重要的地位，这方面的工具也非常多，像 burp suite， Fiddler，Charles 每个都是搞 web 的必备神器。mitmproxy 是基于 python 编写定制脚本的代理拦截工具。anyproxy 是基于 JavaScript 编写定制脚本，功能与 mitmproxy 基本一致
python结合mitmproxy抓包实践
shadow20112011的博客
09-24 7915
mitmproxy简介 mitmproxy（man-in-the-middle attack proxy），中间人攻击工具，可以用来拦截、修改、保存 HTTP/HTTPS 请求，对于爬虫尤其是基于APP的爬虫来说，是必不可少的一款神器。mitmproxy 基于Python开发，可以通过Python代码对请求和响应进行自定义过滤和修改。 对应其安装，可以到其官网（https://www.mitmpr...
使用 mitmproxy + python 做拦截代理，解放双手，生成自动化测试用例
weixin_43865008的博客
02-09 3714
前言 是不是有很多小伙伴在做接口自动化的时候，大量的测试用例数据，写的即枯燥，有乏味呢？ 那么下面你们的福利来啦~本文章会基于 mitmproxy + python 做代理拦截，将我们拦截到的接口请求，转换成 .yaml 格式文件的测试用例，文件格式如下： 有的小伙伴是不是会担心，你们的yaml用例数据结构和我不同呢？完全不用担心，文章下方我会提供源码，只需要找到下方截图中的代码，更改你们自己的数据结构即可~ 下面话不多说，我们进入正文 什么是 mitmproxy ？ 文章地址： https://bl
python使用mitmproxy和mitmdump抓包之拦截和修改包（四）
kxltsuperr的专栏
09-29 1729
首先cmd进入路径C:\Users\LC\AppData\Local\Programs\Python\Python310\Scripts，xxx.py也在这个目录中。首先，mitmdump的路径如下：（使用pip3 install mitmproxy安装的情况，参考我的文章。所以mitmdump -s xxx.py时，需要将xxx.py放入这个目录中，或者给出xxx.py的全路径。我认为mitmproxy最强大的地方，就是mitmdump可以结合python代理，灵活拦截和处理数据包。
渗透技巧：使用python结合mitmproxy定制HTTP流量
hot_milk1的博客
02-28 2065
mitmproxy是一个开源的中间人代理工具，用于拦截、修改、重播和保存HTTP/HTTPS流量。其名称“Mitm”是“中间人”的缩写，表示它可以作为客户端和服务器之间的中介，允许用户查看和修改流经代理的网络通信。它与BurpSuite是同类型工具，mitmproxy它具有Web界面和命令行界面，但它最强悍的特点是提供了一系列的Python API，安全人员可以对HTTP/HTTPS流量进行高度定制，并且可以使用Python所具有的生态库。mitmproxy可以开启一个HTTP/HTTPS。
Python爬虫(一)——使用mitmproxy拦截数据包
qq_33044969的博客
07-13 9386
Python爬虫实践(一)——使用mitmproxy拦截数据包 一、反爬机制 在app的爬虫当中，会遇到如下情况，处理起来十分棘手: 1. 我们想直接调用某接口的方式获得数据 2. api中存在某个headers中的一个或多个字段被加密，或者请求体中参数被加密 3. 加密参数不能通过简单的方式破解，也就不能调用接口获取数据包 4. 该接口限制了请求速度（指在某个时间段调用一定次数后，出现账号封禁，...
Python3自定义http/https请求拦截mitmproxy脚本实例
09-16
总结来说，这个mitmproxy脚本实例展示了如何利用Python3和mitmproxy库自定义网络流量拦截规则，记录请求和响应信息，并在满足特定条件时修改响应内容。这为开发者提供了一种强大的工具，可以在开发、测试或调试过程...
python mitmproxy教程 详细教程+实战,教你怎么用
12-23
python mitmproxy教程 mitmproxy工作在HTTP层,可用于拦截数据,关键是还可以修改数据! 详细教程+实战,教你怎么用
Python3爬虫mitmproxy的安装步骤
09-16
在本篇文章里小编给大家整理的是关于Python3爬虫mitmproxy的安装步骤，需要的朋友们可以学习下。
python使用mitmproxy抓取浏览器请求的方法
09-19
今天小编就为大家分享一篇python使用mitmproxy抓取浏览器请求的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
基于Java开发的银行管理系统后台bankproject-master.zip
07-26
基于Java开发的银行管理系统后台bankproject-master.zip
基于Java实现的企业考勤管理系统(源代码+数据库SQL).rar
07-26
基于Java实现的企业考勤管理系统(源代码+数据库SQL).rar
【SCI1区】Matlab实现三角测量拓扑聚合优化器TTAO-Transformer-GRU故障诊断算法研究.rar
07-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
【SCI1区】Matlab实现蛇群优化算法SO-Transformer-GRU故障诊断算法研究.rar
最新发布
07-26
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
python 启动mitmproxy
06-23
在Python中，你可以使用`mitmproxy`这个强大的网络流量拦截和修改工具。要启动`mitmproxy`，你需要先确保已经安装了`mitmproxy`。如果你还没有安装，可以通过pip来安装： ```bash pip install mitmproxy ``` 然后，你可以使用以下命令在Python脚本中启动`mitmproxy`： ```python from mitmproxy import ctx if ctx.options.no_websocket: ctx.log.warn("WebSockets are disabled.") with ctx.wrap_conn(): mitmproxy.tools.web.ProxyServer(ctx).start() ``` 这段代码会启动一个基本的`mitmproxy`服务器，它将在Python环境中运行，并拦截并处理所有通过它的网络连接。`ctx.wrap_conn()`是一个上下文管理器，确保在代理关闭时执行清理操作。 如果你想在终端中直接运行`mitmproxy`，可以在命令行输入： ```bash mitmproxy --web ``` 这将启动一个交互式控制台模式，允许你在命令行与`mitmproxy`交互。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值