mitmproxy 学习

• 安装

源码地址：https://github.com/mitmproxy/mitmproxy

 

安装mitmproxy的4.0.4版本

安装后有3个命令行工具：mitmproxy, mitmdump, mitmweb

mitmproxy：交互式；查看流量数据(请求与响应)；执行自定义脚本

mitmdump：执行自定义脚本，脚本在Mitmproxy中叫做Addon

使用mitmdump --version查看版本信息

使用mitmweb直接启动web页面

需要把SSL抓包工具的选项给去掉。

二、手机抓包

手机连接电脑代理和ip，同fiddler（如果命令是mitmweb -p 8889指定的端口号，要修改端口）

手机端打开http://mitm.it/ 安装https证书就可以抓https请求

 

三、mitmdump

mitmdump -w outfile：把截获的信息保存到文件

mitmdump -s script.py：执行python脚本

四、日志

mitmdump提供了专门的日志输出功能，可以设定不同级别以不同颜色输出结果，我们可以把脚本修改成以下内容：

from mitmproxy import ctx 
def request(flow): 
     flow .request . headers['User-Agent'] ＝'mitmProxy'
     ctx.log.info(str(flow.request.headers)) 
     ctx.log.warn(str(flow.request.headers)) 
     ctx.log.error(str(flow.request.headers)) 
在这里调用了ctx模块，它有一个log功能，调用不同的输出方法就可以输出不同颜色的结果，以方便我们做调试。例如：info()方法输出的内容是白色的，warn()方法输出的内容是黄色的，error（）方法输出的内容是红色的。

 

五、python脚本

【request】

request.url、headers、cookies、host、method、port、request.scheme：请求链接、请求头、请求cookies、请求host、请求方法、请求端口、请求协议这些内容。

【response】

response.status_code、headers、cookies、text：响应的状态码status_code、响应头headers、cookies、响应体text

1、脚本编写的两个条件

 

• 1.1、编写一个 py 文件供 mitmproxy 加载，文件中定义了若干函数，这些函数实现了某些 mitmproxy 提供的事件，mitmproxy 会在某个事件发生时调用对应的函数
• 1.2、编写一个 py 文件供 mitmproxy 加载，文件定义了【变量 addons】，addons 是个数组，每个元素是一个类实例，这些类有若干方法，这些方法实现了某些 mitmproxy 提供的事件，mitmproxy 会在某个事件发生时调用对应的方法。这些类，称为一个个 addon。
• 基本模板为

from mitmproxy import http, ctx

import json

 

class xxx:

def xxx:

def xxx

 

addons = [

xxx() //类名的加载，也可以定义多个类，然后以数组的形式添加，进行加载

]

 2、事件

• 这里引入事件的概念，是方便我们理解我们在某些事件中做出的处理，事件是针对生命周期而言的。
• 针对不同的生命周期分为5类，不同的生命周期是指在哪一个层面看待事件（http生命周期、 Websocket 生命周期、TCP 生命周期、网络连接生命周期等。主要是http生命周期用的多些）。

2.1、针对http请求的生命周期

• http请求–>htpp响应的过程
• 来自客户端的 HTTP CONNECT 请求。这里的连接指的是客户端跟代理服务器建立的连接。CONNECT 请求不会触发request、response的其他http事件。
• 客户端的 HTTP 请求的头部被成功读取。这个时候flow的request的body部分内容是空的
• 客户端的 HTTP 请求被成功完整读取。
• 服务端的 HTTP 响应的头部被成功读取。此时 flow 中的 response 的 body 是空的。
• 服务端端的 HTTP 响应被成功完整读取。

3、客户端请求修改

3.1、修改请求针对域名，替换请求链接。

from mitmproxy import ctx, http

import json

class Modify:

      def request(self, flow):      #替换请求链接

         if flow.request.url.startswith("http://spay1.shuqireader.com/api/ios/info?method=priceList"):

            #有分享

            flow.request.url = "http://activity.x.xxx.xx.cn/share?id=2653&useShare=1"

            ctx.log.info("修改链接")   

         

addons = [

Modify()

]

3.2、修改cookie

from mitmproxy import ctx, http

import json

 

class Modify:

 

   def request(self, flow):

         #替换cookie，两种匹配请求链接的方式

        # if flow.request.host == "xxx.x.xxx.com.cn":

        if flow.request.url.startswith("https://xxx.x.xxx.com.cn/"):

            print(flow.request.url)

            print(flow.request.cookies)

            flow.request.cookies["_testCookie1"] = "xxx-91"

            flow.request.cookies["testCookie2"] = "123"

 

            req = flow.request.cookies["_testCookie1"]

            ctx.log.info(req)

         

addons = [

Modify()

]

•  

3.3、修改请求参数

from mitmproxy import ctx, http

import json

 

class Modify:

   def request(self, flow):

                if flow.request.url.startswith("http://xxx.x.xxx.com.cn/customActivity/bookcode/doJoin"):

            ctx.log.info("modify request form")

            if flow.request.urlencoded_form:

                flow.request.urlencoded_form["code"] = "11111"

            else:

                flow.request.urlencoded_form = [

                    ("actId", "20727"),("nick","name")

                ]

         

addons = [

Modify()

]

•   

4、响应修改

4.1、修改响应的状态码

from mitmproxy import ctx, http

import json

 

class Modify:

def response(self, flow):

 if flow.request.url.startswith("http://baidu.com.cn"):

            flow.response = http.HTTPResponse.make(404)

            ctx.log.info("modify status code")

 

 addons = [

Modify()

]

 4.2、修改响应的消息体-直接修改响应字段

from mitmproxy import ctx, http

import json

 

class Modify:

def response(self, flow):

        if flow.request.url.startswith("https://xxx.x.xxx.com.cn/activityInfo/getPrizeInfo=="):

         //获取响应的json字符串，转成python对象进行解析和修改

            response = json.loads(flow.response.get_text())

            response['limitCount'] = 1

            //修改完成后，奖python对象转成json字符串，set进请求的响应体重发送给客户端

            flow.response.set_text(json.dumps(response))

            ctx.log.info('modify limitCount')

 

 addons = [

Modify()

]

 4.3、修改响应的消息体-通过读取json文件的字符串返给客户端

from mitmproxy import ctx, http

import json

 

class Modify:

def response(self, flow):

        if flow.request.url.startswith("https://xxx.x.xxx.com.cn/activityInfo/getPrizeInfo=="):

         //读取文件，在当前文件路径下执行脚本，否则需要写文件的绝对路径；不然会找不到该json文件

         with open('getStatus.json','rb') as f:

          //从json文件中读取数据成python对象

                res = json.load(f)

            //将读取的python对象转成json字符串发送给客户端

            flow.response.set_text(json.dumps(res))

            ctx.log.info("modify order status")

 

 addons = [

Modify()

]

最终没有弄明白这个请求，把环境部署好了，有以下优点：

1 、debug python代码的时候，用mitmproxy的时候，ssl的模式不需要去掉

2、抓包的页面属于网页版，轻量级，可视化效果比charles好很多。

3 mitmproxy号称抓包工具的老大和mock高手，我却还未领悟到，后续有缘再相聚吧！