mitmproxy+python

安装1：

win安装包：mitmproxy - an interactive HTTPS proxy

C:\Program Files (x86)\mitmproxy\bin下cmd执行：mitmdump --version，有下图证明完成安装

安装2：pip install mitmproxy==5.2.0

证书安装

在cmd下启动一次mitmdump后，会有这个目录下C:\Users\85025\.mitmproxy生成证书

名称	作用
mitmproxy-ca.pem	PEM格式的证书私钥
mitmproxy-ca-cert.pem	PEM格式证书，适用于大多数非Windows平台
mitmproxy-ca-cert.p12	PKCS12格式的证书，适用于Windows平台
mitmproxy-ca-cert.cer	与mitmproxy-ca-cert.pem相同，只是改变了后缀，适用于部分Android平台
mitmproxy-dhparam.pem	PEM格式的秘钥文件，用于增强SSL安全性

具体配置参考：mitmproxy安装证书_「从零开始Python爬虫」1.7.2 Mitmproxy的安装与配置_weixin_39654903的博客-CSDN博客

安装浏览器代理插件

SwitchyOmega_Chromium，设置代理指向8080，可抓取所有请求

ptyhon开启代理

当前文件：addons
from mitmproxy import ctx
class Counter:
    def request(self):
        
        ctx.log.info('we have seen ')
        with open('1.txt','a',encoding='utf-8') as f:
            f.write('we have seen')


# addons名字是固定的
addons=[
    Counter
]

命令行执行：mitmdump -s  .\addons.py 
任意请求都可以抓到

如遇到以下问题：
ImportError: cannot import name 'soft_unicode' from 'markupsafe' (d:\working\pythonproject\pythonproject\proxy\venv\lib\site-packages\markupsafe\__init__.p
y)

更新markupsafe版本为2.01尝试即可

mitmproxy原有事件，可重构方法内容进行数据修改

 rewrite,maplocal,remote

import json
from mitmproxy import http
class MapRewrite_test():

    def response(self,flow:http.HTTPFlow):
        #许多事件接收FLow对象作为参数一 通过修改这些对象，可以定制所需要的内容
        if ' https://stock.xueqiu.com/v5/stock/batch/quote.json? t' in flow.request.pretty_url:
        #返回数据是一个json 格式的str类型，要想修改里面的内容需要将它转换成python的json对象
            data=json.loads(flow.response.text)
            #找到要修改的值
            print(data)
            data['data']['items'][0]['quote']['name'] = '贵州茅台贵州茅台贵州茅台贵州茅台'
            data['data']['items'][0]['quote']['current'] = '123124 '
            #将对象转换成接口可识别的字符串
            flow.response.text = json.dumps(data)


class MapLocal_test():
    def response(self,flow:http.HTTPFlow):
        if '/saas/menu/' in flow.request.pretty_url:
            with open('1.txt', 'a', encoding='utf-8') as f:
                f.write(flow.request.pretty_url + '\n')
            with open('./respone.json',encoding='utf-8') as f :
                # make 所需的是str，不用转换
                flow.response = http.HTTPResponse.make(200,f.read(),{'Conten-Type':"application/json;charset=UTF-8"})



class MapRmote_test():
    def request(self, flow:http.HTTPFlow):
        data = flow.request.pretty_url
        if "report/showMapLocal" in data:
            datas = data.split("?")
            datas[0] = "http://stuq.ceshiren.com:9098/report/showMapLocal"
            urltest = datas[0] + "?" + datas[1]
            flow.request.url = urltest# 这个可以替换url




addons= [MapRewrite_test(), MapLocal_test(),MapRmote_test()]