超详细！基于Python探针完成调用库的数据提取

前记

最近在完善公司的监控系统, 发现在项目运行时经常会出现一些运行时的问题， 这些问题往往不是一个子服务引发的问题， 而可能是某个环节出现了问题， 这时候就需要引入APM系统。在收集APM数据时发现在Python生态中针对web框架都有完善的APM中间件用于接口统计与监控, 但是第三方调用库相关的APM实现都比较少(几乎没有)， 同时这些库大多数也都没提供一些钩子实现。这就需要自己去封装一些库， 为这些库实现一套调用过程的数据提供逻辑。

本文是以Python的aiomysql库为例，阐述如何基于Python的探针完成调用库的调用过程统计与监控的封装。

注: 监控的形式的agent有很多种，如Prometheus，Zabbix, Graphite和Opentracing他们的数据源有很大的不同，但是他们都是基于元数据封装成自己的源数据，然后发送到对应的服务，所以本文只介绍如何提取元数据，剩下的如何发送需要自己按照特定的监控系统去实现。 注：这里以aiomysql库来做示例，提取数据的方法应该用统一的dbapi2， 本文只阐述如何简单的实现。

原文地址

---

1.简单粗暴的方法–对mysql库进行封装

要统计一个执行过程， 就需要知道这个执行过程的开始位置和结束位置， 所以最简单粗暴的方法就是基于要调用的方法进行封装，在框架调用MySQL库和MySQL库中间实现一个中间层, 在中间层完成耗时统计,如:

# 伪代码

def my_execute(conn, sql, param):
    # 针对MySql库的统计封装组件
    with MyTracer(conn, sql, param):
        # 以下为正常使用MySql库的代码
        with conn.cursor as cursor:
            cursor.execute(sql, param)
            ...

看样子实现起来非常不错, 而且更改非常方便, 但由于是在最顶层的API上进行修改, 其实是非常不灵活的, 同时在cursor.execute里会进行一些预操作, 如把sql和param进行拼接, 调用nextset清除当前游标的数据等等。 我们最后拿到的数据如时间耗时也是不准确的, 同时也没办法得到一些详细的元数据， 如错误码等等.

如果要拿到最直接有用的数据，就只能去改源代码, 然后再调用源代码了, 但是如果每个库都需要改源代码才能统计, 那也太麻烦了, 好在Python也提供了一些类似探针的接口, 可以通过探针把库的源码进行替换完成我们的代码.

2.Python的探针

在Python中可以通过sys.meta_path来实现import hook的功能, 当执行 import 相关操作时, 会根据sys.meta_path定义的对象对import相关库进行更改. sys.meta_path中的对象需要实现一个find_module方法， 这个find_module方法返回None或一个实现了load_module方法的对象, 我们可以通过这个对象, 针对一些库在import时, 把相关的方法进行替换, 简单用法如下,通过hooktime.sleep让他在sleep的时候能打印消耗的时间. github源码存储

import importlib
import sys
from functools import wraps

def func_wrapper(func):
    """这里通过一个装饰器来达到狸猫换太子和获取数据的效果"""
    @wraps(func)
    def wrapper(*args, **kwargs):
        # 记录开始时间
        start = time.time()
        result = func(*args, **kwargs)
        # 统计消耗时间
        end = time.time()
        print(f"speed time:{end - start}")
        return result
    return wrapper

class MetaPathFinder:

    def find_module(self, fullname, path=None):
        # 执行时可以看出来在import哪些模块
        print(f'find module:{path}:{fullname}')
        return MetaPathLoader()

class MetaPathLoader:

    def load_module(self, fullname):
        # import的模块都会存放在sys.modules里面， 通过判断可以减少重复import
        if fullname i