给大家分享一篇 一种Python全局配置规范以及其魔改

0x01 模块 or global

很多初学者有个误区,就是在Python中需要配置一个全局的参数时,首先想到的是global关键字,而实际上global不是干这个事的,global的功能是在将局部作用域的变量声明为全局的,这样可以在局部修改全局的变量。

但这种用法其实非常不好,按照函数式的规范而言,纯函数的输入应该只由输入参数确定,不应该在执行过程中引用外部变量。并且,global也不是用来进行全局配置用的。

在Python中,模块是天然的单例,模块会在项目初始化后执行一次,之后一般不重复执行,符合单例模式的特点。因此,利用模块的这一特性,将整个工程文件中需要配置的选项都配置到一个模块中,在需要用的模块中通过import导入,才是Python中全局配置正确打开方式。

虽然这种规范已经在江苟(Django)等开源框架中展示了无数遍,但“如何在Python中设置全局变量”这个问题仍然是Python社区的月经贴。

通过模块配置全局变量的试例如下,在configs.py中定义CONFIG_A和CONFIG_B。在user.py中用import导入。

这里写代码片

这个其实是Python中的基本操作了,本来是没啥好讲的,不过在这篇文章最后我展示了一种根据json配置的动态模块,供大家参考。

0x02 单例字典

在讲模块之前,我想谈谈我尝试过另一种方式,就是自定义单例字典,具体做法是这样的。

先继承collections模块中MutableMapping,并重写相关接口。这是在Python中自定义数据类型的基本操作了,自定义完成后然后写一个装饰器将继承的类转化成单例的类。

单例模式的写法可以看Stackoverflow上关于单例模式的高票回答。

我习惯采用第一种函数装饰器的写法:

def singleton(class_):
    instances = {}
    def getinstance(*args, **kwargs):
        if class_ not in instances:
            instances[class_] = class_(*args, **kwargs)
        return instances[class_]
    return getinstance

@singleton
class MyClass(BaseClass):
    pass

这种写法非常好理解,用一个类变量instances保存该类生成的实例,每次类被调用的时候判断一下这个类是否在instances字典里,如果不在着生成一个实例并放入instances字典。

但这个写法有个问题,装饰后的返回的不是一个类,而是一个函数,虽然Python语法讲究一切皆对象,但函数是享受不到类的诸如继承之类的特性的。

如果需要返回一个单例类的话需要用元类的写法,或者第四种类装饰器的写法。当然,具体到这里而言,这个类是继承了一个MutableMapping的,不能再继承别的元类了,元类的写法在这里不适用。

0x03 单例字典的问题

用单例字典做全局配置看着比模块炫酷,其实并没那么好用。原因是单例模式自身的一个弊病,违背了单一职责原则,这个在相关设计模式的教程里有讲到。而且,字典在这一块还有个弊病就是根本不知道需要用到的key是不是存在字典中。

单例字典是我在项目初期引入,并在项目的迭代过程中给我造成最大困扰的一个东西,在开始时几乎将所有的配置都写入到这个字典中,然后在程序运行中这个字典又被分散在程序各处的各个实例修改,运行到后面根本不知道字典里有什么,字典里的某个内容是否被修改过。不过由于GIL,倒是不需要考虑锁的问题,可能是唯一的一个幸事。

在后期将这个庞大的字典进行重构,重构的过程按照下面的方式进行:

1、将各个类中该字典的引用点,由各个方法收拢到init方法。

不应该

class A:

    def __init__(self,):
        pass

    def fun_a(self):
        a = Singleton()['a']

    def fun_b(self):
        b = Singleton()['a']

应该

class B:

    def __init__(self,):
        self.a = Singleton()['a']
        self.b = Singleton()['b']

    def fun_a(self):
        a = self.a

    def fun_b(self):
        b = self.b

2、将各个引用点的名称统一。

不应该

class A:

    def __init__(self,):
        self.sets = Singleton()

    def fun_a(self):
        SET = Singleton()

    def fun_b(self):
        self.SET = Singleton()
        b = self.SET['b']

应该

class B:

    def __init__(self,):
        self.sets = Singleton()

    def fun_a(self):
        SET = self.sets

    def fun_b(self):
        b = self.set['b']

3、将子函数中直接引用单例字典的参数放到函数的参数列表中,由调用方获取单例字典内容,由传参的方法传入被调用函数,这样做是为了满足函数式编程中纯函数的原则。

不应该这么用:

def b():
    return Singleton()['c']+'a'

def a():
    returrn b()
应该这样用

def b(c):
    return c +'a'

def a()
    c = Singleton()['c']
    return b(c)

4、将单一的单例字典分成多个单例字典,并将部分单例字典转换成模块,这个就不举例了。

0x04 动态模块

模块的用法很简单,在一个文件里配置好,直接import就行。需要注意的是引用的入口最好在同一个地方。

不过模块有个地方不好就是动态修改不方便,具体到项目中去就是,该项目通过工厂模式生成了一系列产品,每个产品所需的配置参数都不一样。

这里有个办法就是每个产品都通过同一个模块来配置,然后在初始化时根据以产品名称命名的一个json文件修改模块的参数。这样就可以达到引用模块的方式不变,但模块的内容是根据json文件的内容来配置的。

详细的代码见github,主要用来动态修改模块的语句如下:

 [setattr(module, k.decode('utf-8'), v) for k, v in d.items()]

其实就是通过setattr这个常用的给对象动态的添加功能的函数,d.tiems()是一个从json文件中读取的字典对象。

0x04 动态模块的优势

现在,一个配置模块的方案就成了导入configs模块,调用update_config_by_name函数,即动态修改函数,并按照相应的json文件修改模块的值。

相对于在每个类初始化时直接调用json配置变量这种方案是有好处的,定义了configs模块有助于代码的静态检查,形成了一种像C语言中.h文件和.c文件的关系,在头文件中定义相关的变量,在.c文件中实现或使用。这里就成了在configs模块中定义变量,变量的值由json文件确定,然后在其他模块中通过import实现,并且这个东西是全局共享的。当然,这个全局的意思指的是整个解释器。

这段代码还是有个坑,一般出现在单元测试中,来看两段代码:

from configs import CONFIG_A, CONFIG_B
print("use config:", CONFIG_A,CONFIG_B)
import configs
print("use config:", configs.CONFIG_A,configs.CONFIG_B)

在单元测试中由于deepcopy的问题,根据导入的层级不一样,CONFIG_X的值也发生了不一样的改变,这是个还在研究的bug。

 
Python学习交流群:834179111,群里有很多的学习资料。欢迎欢迎各位前来交流学习。

阅读更多
文章标签: Python
个人分类: Python
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭