从LayzerLoader 讲起
python 的module 可以通过三种方式进行importing,分别是import, importlib.import_module(), __import__。
import 语句结合了两个操作:首先搜索指定的模块,然后将搜索结果绑定到当前的作用域。
import() 直接调用,将会执行模块的搜索以及在找到时进行模块的创建。
例如:
module2 = __import__ ("data.api")
print(module2.__dict__)
"""
{'__name__': 'data', '__doc__': None, '__package__': 'data', '__loader__': <_frozen_importlib_external._NamespaceLoader object at 0x10c4c3588>, '__spec__': ModuleSpec(name='data', loader=<_frozen_importlib_external._NamespaceLoader object at 0x10c4c3588>, submodule_search_locations=_NamespacePath(['/Users/wuyongyu/PycharmProjects/untitled1/data', '/Users/wuyongyu/PycharmProjects/untitled1/data'])), '__file__': None, '__path__': _NamespacePath(['/Users/wuyongyu/PycharmProjects/untitled1/data', '/Users/wuyongyu/PycharmProjects/untitled1/data']), 'api': <module 'data.api' from '/Users/wuyongyu/PycharmProjects/untitled1/data/api.py'>}
"""
# 将会报错:TypeError: 'module' object is not subscriptable
api_instance = module2["api"].classA()
# 执行正确
api_instance = module2.api.classA()
importlib 模块提供了一个丰富的API来与导入系统进行交互。importlib.import_module() 提供了比内置的__import__()更推荐的、更简单的API用来发起调用导入机制。
tensorflow中定义了LazyerLoader
通过importlib 导入module,以及获取module的__dict__属性包含的内容。
在真正使用module的方法或者类的时候,可以通过__getattr__获取加载相对应的方法或者类。
import unittest
import types
import importlib
import sys
class testModules(unittest.TestCase):
# 1 使用 types.ModuleType
def test_Test_subclass(self):
# 之类通过 ModuleType 定义一个module
m = types.ModuleType("m")
class Hello(object):
def hello(self):
pass
def function1():
print("this is function 1")
# 向module 内部增加__dict__ 属性,包括class 和 fucntion
m.test_class = Hello
m.test_function = function1
# 可以通过module getattr 进行调用
a = m.test_class()
a.hello()
m.test_function()
# ModuleType 定义的module 不能被直接 import
# 可以将module 增加到 sys.module 进行调用
def test_Test_import_ModuleType(self):
m = types.ModuleType("m")
class Hello(object):
def hello(self):
pass
def function1():
print("this is function 1")
m.test_class = Hello
m.test_function = function1
sys.modules["m"] = m
import m as mm
mm.test_function()
# tensorflow LazyLoader
class LazyLoader(types.ModuleType):
""" Layz 加载Module ,可以让module进行转发"""
def __init__(self, local_name, parent_module_globals, name):
self._local_name = local_name
self._parent_module_globals = parent_module_globals
super(LazyLoader, self).__init__(name)
def _load(self):
"""导入module, 并且放到 parent_module里面"""
print("LazyLoader->_load")
module = importlib.import_module(self.__name__)
self._parent_module_globals[self._local_name] = module
# 将module的属性更新到LazyLoader
self.__dict__.update(module.__dict__)
return module
# 返回import_module 的module属性
def __getattr__(self, item):
print("LazyLoader->__getatrr__ item:", item)
module = self._load()
# print("type(module):", type(module))
return getattr(module, item)
def __dir__(self):
module = self._load()
return dir(module)
def __reduce__(self):
return __import__, (self.__name__,)
def test(self):
print("this is test attr")
if __name__ == '__main__':
# unittest.main()
_module = LazyLoader("m", globals(), "data.api") # 将 api和_module 放入 globals()
sys.modules.setdefault("hh", _module) # 这里只是设置 hh 指向 _module
# 尝试获取 LazyLoader的属性,如果没有,则通过__getattr__获取 module的属性
getattr(globals()["_module"], "test")()
w = getattr(globals()["_module"], "__name__")
import hh # 因为 sys.module.setdefault 所以可以 import,这里并没有实际执行_load
hh.api() # 通过 __getattr__ 执行 _load操作加载 api类