Python 学习 ---＞自省、反射、inspect

擒贼先擒王

已于 2024-01-05 02:21:28 修改

阅读量4.1k

点赞数 1

分类专栏： Python 文章标签： python 开发语言

于 2016-09-07 13:21:34 首次发布

本文链接：https://blog.csdn.net/freeking101/article/details/52458647

版权

Python 专栏收录该内容

41 篇文章 25 订阅

订阅专栏

1、自省(反射)

什么是自省?、什么是反射?

自省

在计算机编程中，自省是指这种能力：检查某些事物以确定它是什么、它知道什么以及它能做什么。即 列出对象的所有属性和方法，自省就是告诉我们，这个对象到底是什么，提供了什么功能。自省向程序员提供了极大的灵活性和控制力。简单一句：就是运行时能够获得对象的类型。

反射

反射是指通过字符串来访问、调用或者操作对象的属性和方法

利用反射机制，可以在运行时动态地确定属性和方法的名称，并根据需要对它们进行操作。

"自省、反射" 产生的原因

有时候我们会碰到这样的需求，需要执行对象的某个方法，或是需要对对象的某个字段赋值，而方法名或是字段名在编码代码时并不能确定，需要通过参数传递字符串的形式输入。

举个具体的例子：当我们需要实现一个通用框架时，可能需要对数据对象的字段赋值，但我们无法预知用到这个框架的数据对象都有些什么字段，换言之，我们在写框架的时候需要通过某种机制访问未知的属性。这个机制被称为反射（反过来让对象告诉我们他是什么），又叫自省（让对象自己告诉我们他是什么），用于实现在运行时获取未知对象的信息。

在一般的编程语言里反射相对其他概念来说稍显复杂，一般来说都是作为高级主题来讲；但在Python中反射非常简单，用起来几乎感觉不到与其他的代码有区别，使用反射获取到的函数和方法可以像平常一样加上括号直接调用，获取到类后可以直接构造实例；不过获取到的字段不能直接赋值，因为拿到的其实是另一个指向同一个地方的引用，赋值只能改变当前的这个引用而已。

2、Python 的 "反射、自省"

Python 反射

在 Python 中，反射是指通过字符串来访问、调用或者操作对象的属性和方法。Python 提供了一些内置的函数和特殊的语法来实现反射操作，包括：

getattr(object, name[, default])：获取对象的属性或方法。object 是要查找的对象，name 是属性或方法的名称，default 是可选参数，表示如果属性或方法不存在时返回的默认值。
hasattr(object, name)：检查对象是否具有指定的属性或方法。返回一个布尔值，如果对象具有指定的属性或方法则为 True，否则为 False。
setattr(object, name, value)：设置对象的属性值。object 是要设置属性的对象，name 是属性的名称，value 是要设置的值。
delattr(object, name)：删除对象的属性。object 是要删除属性的对象，name 是属性的名称。

通过对象动态导入

使用反射进行属性和方法的访问和操作：

class MyClass:
    def __init__(self):
        self.name = "Alice"

    def greet(self):
        print(f"Hello, {self.name}!")


obj = MyClass()

# 使用 getattr 获取属性值
name = getattr(obj, "name")
print(name)  # 输出: Alice

# 使用 setattr 设置属性值
setattr(obj, "name", "Bob")
print(obj.name)  # 输出: Bob

# 使用 hasattr 检查属性或方法是否存在
has_greet = hasattr(obj, "greet")
print(has_greet)  # 输出: True

# 使用 delattr 删除属性
delattr(obj, "name")
print(hasattr(obj, "name"))  # 输出: False

# 使用 getattr 调用方法
greet_method = getattr(obj, "greet")
greet_method()  # 输出: Hello, Alice!

通过 py文件动态导入

class TestClass(object):

    def method_test(self):
        print('method_test')
        pass


def func_test():
    print('print ---> func_test')
    return 'ret_val ---> func_test'


def main():
    import importlib.machinery

    def dynamic_import_method(module_name, method_name):
        try:
            loader = importlib.machinery.SourceFileLoader(module_name, module_name)
            module = loader.load_module()
            method = getattr(module, method_name)
            return method
        except (ImportError, AttributeError) as e:
            print("Failed to import method:", e)

    # 动态导入 "example.py" 文件中的方法 "add_numbers"
    # add_numbers = dynamic_import_method("example", "add_numbers")
    load_func = dynamic_import_method(__file__, "func_test")

    # 调用动态导入的方法
    result = load_func()
    print(result)


if __name__ == '__main__':
    main()
    pass

通过模块动态导入

示例 2：

import requests


def main():
    requests_get = getattr(requests, 'get')
    resp = requests_get('https://www.baidu.com')
    resp.encoding = 'utf-8'
    print(resp.status_code)
    print(resp.text)


if __name__ == '__main__':
    main()

Python 自省

常用函数，比如： type()、dir()、getattr()、hasattr()、isinstance() 等。

dir([obj])：调用这个方法将返回包含obj大多数属性名的列表（会有一些特殊的属性不包含在内）。obj的默认值是当前的模块对象。
hasattr(obj, attr)：这个方法用于检查obj是否有一个名为attr的值的属性，返回一个布尔值。
getattr(obj, attr)：调用这个方法将返回obj中名为attr值的属性的值，例如如果attr为'bar'，则返回obj.bar。
setattr(obj, attr, val)：调用这个方法将给obj的名为attr的值的属性赋值为val。例如如果attr为'bar'，则相当于obj.bar = val。

访问对象的属性

以下列出了几个内建方法，可以用来检查或是访问对象的属性。Python中一切都是对象。

def foo(): pass  # 函数，foo指向这个函数对象


class TestClass(object):
    def __init__(self, name='kitty'):
        self.name = name

    def say_hi(self):
        print(f'{self.name} says hi!')


tc = TestClass()
print(TestClass.say_hi)  # 使用类名访问实例方法时，方法是未绑定的(unbound)
print(tc.say_hi)  # 使用实例访问实例方法时，方法是绑定的(bound)

tc = TestClass('kitty')
print(tc.name)  # 访问实例属性
tc.say_hi()  # 调用实例方法
################################################################
print(dir(tc))  # 获取实例的属性名，以列表形式返回
if hasattr(tc, 'name'):  # 检查实例是否有这个属性
    setattr(tc, 'name', 'tiger')  # same as: a.name = 'tiger'
print(getattr(tc, 'name'))  # same as: print a.name
getattr(tc, 'say_hi')()  # same as: tc.sayHi()
################################################################

访问对象的元数据

dir() 查看一个对象的属性。但是很多属性并不是你定义的。这些属性一般保存了对象的元数据。比如类的__name__属性保存了类名。大部分这些属性都可以修改，不过改动它们意义并不是很大，修改其中某些属性如 function.func_code 还可能导致很难发现的问题，所以改改 name 什么的就好了。其他的属性不要在不了解后果的情况下修改。

接下来列出特定对象的一些特殊属性。另外，Python的文档中有提到部分属性不一定会一直提供，

下文中将以红色的星号*标记，使用前你可以先打开解释器确认一下。

准备工作：确定对象的类型

在 types 模块中定义了全部的Python内置类型，结合内置方法 isinstance() 就可以确定对象的具体类型了。

isinstance(obj, classinfo)：检查 obj 是不是 classinfo 中列举出的类型，返回布尔值。classinfo 可以是一个具体的类型，也可以是多个类型的元组或列表。

types 模块中仅仅定义了类型，而 inspec t模块中封装了很多检查类型的方法，比直接使用 types 模块更为轻松，所以这里不给出关于types的更多介绍，如有需要可以直接查看 types 模块的文档说明。

元数据

__doc__: 文档字符串。如果模块没有文档，这个值是None。

__name__: 始终是定义时的模块名；即使你使用import .. as 为它取了别名，或是赋值给了另一个变量名。

__dict__: 包含了模块里可用的属性名-属性的字典；也就是可以使用模块名.属性名访问的对象。

__file__: 包含了该模块的文件路径。需要注意的是内建的模块没有这个属性，访问它会抛出异常！

__module__: 包含该类的定义的模块名；需要注意，是字符串形式的模块名而不是模块对象。
__bases__: 直接父类对象的元组；但不包含继承树更上层的其他类，比如父类的父类。

__class__: 实例时所对应的类。

示例：模块的元数据

import fnmatch as m

print(m.__doc__.splitlines()[0])
print(m.__name__)
print(m.__file__)
print(m.__dict__.items())

示例：类(class) 的元数据

def foo(): pass


class TestClass(object):
    def __init__(self, name=' kitty '):
        self.name = name

    def say_hi(self):
        print(f'{self.name} says Hi! ')


print(TestClass.__doc__)
print(TestClass.__name__)
print(TestClass.__module__)
print(TestClass.__bases__)
print(TestClass.__dict__)

示例：实例(对象) 的元数据

实例是指类实例化以后的对象。

def foo(): pass


class TestClass(object):
    def __init__(self, name='kitty'):
        self.name = name

    def say_hi(self):
        print(f'{self.name} says Hi! ')


tc = TestClass()
print(tc.__dict__)
print(tc.__class__)
print(tc.__class__ == TestClass)  # True

内建函数、方法的元数据

(built-in functions and methods)，根据定义，内建的(built-in)模块是指使用C写的模块，可以通过sys模块的builtin_module_names字段查看都有哪些模块是内建的。这些模块中的函数和方法可以使用的属性比较少，不过一般也不需要在代码中查看它们的信息。

__doc__: 函数或方法的文档。
__name__: 函数或方法定义时的名字。
__self__: 仅方法可用，如果是绑定的(bound)，则指向调用该方法的类（如果是类方法）或实例（如果是实例方法），否则为None。
__module__: 函数或方法所在的模块名。

函数(function) 的元数据

这里特指非内建的函数。注意，在类中使用def定义的是方法，方法与函数虽然有相似的行为，但它们是不同的概念。

__doc__: 函数的文档；另外也可以用属性名func_doc。
__name__: 函数定义时的函数名；另外也可以用属性名func_name。
__module__: 包含该函数定义的模块名；同样注意，是模块名而不是模块对象。
__dict__: 函数的可用属性；另外也可以用属性名func_dict。

不要忘了函数也是对象，可以使用函数.属性名访问属性（赋值时如果属性不存在将新增一个），或使用内置函数 has/get/setattr()访问。不过，在函数中保存属性的意义并不大。

func_defaults: 这个属性保存了函数的参数默认值元组；因为默认值总是靠后的参数才有，所以不使用字典的形式也是可以与参数对应上的。
func_code: 这个属性指向一个该函数对应的code对象，code对象中定义了其他的一些特殊属性，将在下文中另外介绍。
func_globals: 这个属性指向当前的全局命名空间而不是定义函数时的全局命名空间，用处不大，并且是只读的。
func_closure: 这个属性仅当函数是一个闭包时有效，指向一个保存了所引用到的外部函数的变量cell的元组，如果该函数不是一个内部函数，则始终为None。这个属性也是只读的。

方法(method) 的元数据

方法虽然不是函数，但可以理解为在函数外面加了一层外壳；拿到方法里实际的函数以后，就可以使用2.5节的属性了。

__doc__: 与函数相同。
__name__: 与函数相同。
__module__: 与函数相同。
__func__: 使用这个属性可以拿到方法里实际的函数对象的引用。
__self__: 如果是绑定的(bound)，则指向调用该方法的类（如果是类方法）或实例（如果是实例方法），否则为None。
__class__: 实际调用该方法的类，或实际调用该方法的实例的类。注意不是方法的定义所在的类，如果有继承关系的话。

def foo(): pass


class TestClass(object):
    def __init__(self, name='kitty'):
        self.name = name

    def say_hi(self):
        print(f'{self.name} says Hi! ')


tc = TestClass()
cls_func = tc.say_hi

print(cls_func.__func__)
print(cls_func.__self__)
# list(map(lambda x=None: print(x), dir(cls_func)))
print("*" * 50)
list(map(lambda x=None: print(f"{x} ---> {getattr(cls_func, x)}"), dir(cls_func)))

这里讨论的是一般的实例方法，另外还有两种特殊的方法分别是类方法(classmethod)和静态方法(staticmethod)。类方法还是方法，不过因为需要使用类名调用，所以他始终是绑定的；而静态方法可以看成是在类的命名空间里的函数（需要使用类名调用的函数），它只能使用函数的属性，不能使用方法的属性。

生成器(generator) 的元数据

生成器是调用一个生成器函数(generator function)返回的对象，多用于集合对象的迭代。

__iter__: 仅仅是一个可迭代的标记。
gi_code: 生成器对应的code对象。
gi_frame: 生成器对应的frame对象。
gi_running: 生成器函数是否在执行。生成器函数在yield以后、执行yield的下一行代码前处于frozen状态，此时这个属性的值为0。
next|close|send|throw: 这是几个可调用的方法，并不包含元数据信息，如何使用可以查看生成器的相关文档。

def func_gen():
    for n in range(5):
        yield n


fg = func_gen()
list(map(lambda x=None: print(f"{x} ---> {getattr(fg, x)}"), dir(fg)))

print(fg.gi_code)
print(fg.gi_frame)
print(fg.gi_running)
print(next(fg))
print(next(fg))
for i in fg:
    print(i)

接下来讨论的是几个不常用到的内置对象类型。这些类型在正常的编码过程中应该很少接触，除非你正在自己实现一个解释器或开发环境之类。所以这里只列出一部分属性，如果需要一份完整的属性表或想进一步了解，可以查看文末列出的参考文档。

代码块(code) 的元数据

代码块可以由类源代码、函数源代码或是一个简单的语句代码编译得到。这里我们只考虑它指代一个函数时的情况；2.5节中我们曾提到可以使用函数的func_code属性获取到它。code的属性全部是只读的。

co_argcount: 普通参数的总数，不包括*参数和**参数。
co_names: 所有的参数名（包括*参数和**参数）和局部变量名的元组。
co_varnames: 所有的局部变量名的元组。
co_filename: 源代码所在的文件名。
co_flags: 这是一个数值，每一个二进制位都包含了特定信息。较关注的是0b100(0x4)和0b1000(0x8)，如果co_flags & 0b100 != 0，说明使用了*args参数；如果co_flags & 0b1000 != 0，说明使用了**kwargs参数。另外，如果co_flags & 0b100000(0x20) != 0，则说明这是一个生成器函数(generator function)。

def foo(): pass


class TestClass(object):
    def __init__(self, name='kitty'):
        self.name = name

    def say_hi(self):
        print(f'{self.name} says Hi! ')


tc = TestClass()
tc_say_hi_code = tc.say_hi.__code__
list(map(lambda x=None: print(f"{x} ---> {getattr(tc_say_hi_code, x)}"), dir(tc_say_hi_code)))
print(tc_say_hi_code.co_argcount)
print(tc_say_hi_code.co_names)
print(tc_say_hi_code.co_varnames)
print(tc_say_hi_code.co_flags & 0b100)

栈帧(frame) 的元数据

栈帧表示程序运行时函数调用栈中的某一帧。函数没有属性可以获取它，因为它在函数调用时才会产生，而生成器则是由函数调用返回的，所以有属性指向栈帧。想要获得某个函数相关的栈帧，则必须在调用这个函数且这个函数尚未返回时获取。你可以使用sys模块的_getframe()函数、或inspect模块的currentframe()函数获取当前栈帧。这里列出来的属性全部是只读的。

f_back: 调用栈的前一帧。
f_code: 栈帧对应的code对象。
f_locals: 用在当前栈帧时与内建函数locals()相同，但你可以先获取其他帧然后使用这个属性获取那个帧的locals()。
f_globals: 用在当前栈帧时与内建函数globals()相同，但你可以先获取其他帧……。

import inspect


def add(x, y=1):
    f = inspect.currentframe()
    print(f.f_locals)  # same as locals()
    print(f.f_back)  # <frame object at 0x...>
    return x + y


print(add(2))

追踪(traceback) 的元数据

追踪是在出现异常时用于回溯的对象，与栈帧相反。由于异常时才会构建，而异常未捕获时会一直向外层栈帧抛出，所以需要使用try才能见到这个对象。你可以使用sys模块的exc_info()函数获得它，这个函数返回一个元组，元素分别是异常类型、异常对象、追踪。traceback的属性全部是只读的。

tb_next: 追踪的下一个追踪对象。
tb_frame: 当前追踪对应的栈帧。
tb_lineno: 当前追踪的行号。

import sys


def div(x, y):
    try:
        return x / y
    except Exception as e:
        tb = sys.exc_info()[2]  # return (exc_type, exc_value, traceback) 
        print(tb)
        print(tb.tb_lineno)  # "return x/y"的行号 


print(div(1, 0))

3、使用 inspect 模块

官网文档

：https://docs.python.org/zh-cn/3/library/inspect.html

inspect --- 检查对象

使用 inspect 模块可以提供自省功能，inspect 模块主要提供了四种用处

(1) 对是否是模块，框架，函数等进行类型检查。
(2) 获取源码
(3) 获取类或函数的参数的信息
(4) 解析堆栈

inspect 模块提供一系列函数用于帮助使用自省。下面仅列出较常用的一些函数，想获得全部的函数资料可以查看inspect模块的文档。

检查对象类型

is { module | class | function | method | builtin } (obj)：检查对象是否为模块、类、函数、方法、内建函数或方法。
isroutine(obj)：检查对象是否为函数、方法、内建函数或方法等等可调用类型。用这个方法会比多个 is*() 更方便，不过它的实现仍然是用了多个 is*()。

import inspect


class TestClass(object):
    def __init__(self, name='kitty'):
        self.name = name

    def say_hi(self):
        print(f'{self.name} says Hi! ')


tc = TestClass()
print(TestClass.say_hi)  # 使用类名访问实例方法时，方法是未绑定的(unbound)
print(tc.say_hi)  # 使用实例访问实例方法时，方法是绑定的(bound)

cls_func = tc.say_hi
if inspect.isroutine(cls_func):
    cls_func()

对于实现了__call__的类实例，这个方法会返回False。如果目的是只要可以直接调用就需要是True的话，不妨使用isinstance(obj, collections.Callable)这种形式。我也不知道为什么Callable会在collections模块中，抱歉！我大概是因为collections模块中包含了很多其他的ABC(Abstract Base Class)的缘故吧：）

获取对象信息

getmembers(object[, predicate])：这个方法是dir()的扩展版，它会将dir()找到的名字对应的属性一并返回，形如[(name, value), ...]。另外，predicate是一个方法的引用，如果指定，则应当接受value作为参数并返回一个布尔值，如果为False，相应的属性将不会返回。使用is*作为第二个参数可以过滤出指定类型的属性。
getmodule(object)：还在为第2节中的__module__属性只返回字符串而遗憾吗？这个方法一定可以满足你，它返回object的定义所在的模块对象。
get{file|sourcefile}(object)：获取object的定义所在的模块的文件名|源代码文件名（如果没有则返回None）。用于内建的对象（内建模块、类、函数、方法）上时会抛出TypeError异常。
get{source|sourcelines}(object)：获取object的定义的源代码，以字符串|字符串列表返回。代码无法访问时会抛出IOError异常。只能用于module/class/function/method/code/frame/traceack对象。
getargspec(func)：仅用于方法，获取方法声明的参数，返回元组，分别是(普通参数名的列表, *参数名, **参数名, 默认值元组)。如果没有值，将是空列表和3个None。如果是2.6以上版本，将返回一个命名元组(Named Tuple)，即除了索引外还可以使用属性名访问元组中的元素。
getargvalues(frame)：仅用于栈帧，获取栈帧中保存的该次函数调用的参数值，返回元组，分别是(普通参数名的列表, *参数名, **参数名, 帧的locals())。如果是2.6以上版本，将返回一个命名元组(Named Tuple)，即除了索引外还可以使用属性名访问元组中的元素。
getcallargs(func[, *args][, **kwds])：返回使用args和kwds调用该方法时各参数对应的值的字典。这个方法仅在2.7版本中才有。
getmro(cls)：返回一个类型元组，查找类属性时按照这个元组中的顺序。如果是新式类，与cls.__mro__结果一样。但旧式类没有__mro__这个属性，直接使用这个属性会报异常，所以这个方法还是有它的价值的。返回当前的栈帧对象。

其他的操作frame和traceback的函数请查阅inspect模块的文档，用的比较少，这里就不多介绍了。

擒贼先擒王

关注

1
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
Python 学习 ---＞自省、反射、inspect

在计算机编程中，自省是指这种能力：检查某些事物以确定它是什么、它知道什么以及它能做什么。即列出对象的所有属性和方法，自省就是告诉我们，这个对象到底是什么，提供了什么功能。自省向程序员提供了极大的灵活性和控制力。简单一句：就是运行时能够获得对象的类型。
复制链接

扫一扫