优雅地加载 Yaml 配置文件

这是「进击的Coder」的第 609 篇技术分享

作者：kingname

来源：未闻 Code

“

阅读本文大概需要 4 分钟。

”

我在多篇文章里面都说过，我非常喜欢使用 Yaml 格式来写配置文件。Yaml 是一个对人非常友好的配置格式。

有时候，我们在开发环境、测试环境和线上环境会有多套不同的配置文件，如何在不修改代码的情况下方便的切换配置文件呢？我以前的文章讲过一种方法，使用环境变量来指定配置文件名。今天我们来介绍一个更先进的工具，专门用来高效加载配置文件。这就是 Facebook 开源的 Hydra。

这个工具有多简单呢？我们先写两个配置文件，然后看看怎么读取它：

使用 pip 安装 Hydra:

python3 -m pip install hydra-core

接下来，我们写一段代码，来读取配置文件：

import os
import hydra
from omegaconf import DictConfig

env = os.getenv('DATA_CENTER', 'dev')
@hydra.main(config_path="config", config_name=env)
def main(cfg: DictConfig):
    print('MongoDB链接地址是：', cfg.mongo.uri)
    print('Redis的key是：', cfg.redis.key)
    print('黑名单是：', cfg.detail.black_list)


if __name__ == '__main__':
    main()

运行效果如下图所示：

其中，装饰器hydra.main的参数config_path指定存放配置文件的文件夹，config_name用来指定配置文件的名字（去掉.yaml）。

这样一来，我们可以通过环境变量指定要使用哪个配置文件。

这样看起来似乎跟我以前讲的方法没什么区别啊。那么，高级的功能来了。例如现在我使用 dev 环境时，临时想修改一下 Redis 的 Key 怎么办呢？以前的方法，我就必须去修改 Yaml 文件，把 Key 改掉。但是，既然是临时修改，测试完了又要改回来，显然非常麻烦。

使用 Hydra，这个问题就不再是问题了。我们来看看直接在命令中覆盖数据的方法：

请看图中，我代码没有做任何修改，Yaml 也没有做任何修改。只需要在启动命令的时候增加一个参数redis.key=new_key，那么程序读取到的就是新的值了。这对临时测试的时候非常有用。

除了我上面介绍的这些，Hydra 还可以实现自动补全，自动提示参数名，自动以多个不同的配置连续运行等等功能。大家可以在它的官方文档[1]中看到使用方法。

最后，我补充一个点。有同学在公众号粉丝群提问，Hydra 为什么不能在调用函数的时候，传递额外的参数，例如下面这样写就会报错：

这是因为，Hydra 的装饰对象应该是程序的入口函数。给入口函数传递参数是很奇怪的。如果你的入口函数要根据参数的不同值执行不同的逻辑，那么这个参数你完全可以放到配置文件中。而不是用函数参数来传入。

所以，这里报错应该是功能而不是 bug。本来就不应该在入口函数中添加额外的参数。

参考文献

[1] 官方文档: https://hydra.cc/docs/intro/

End

崔庆才的新书《Python3网络爬虫开发实战（第二版）》已经正式上市了！书中详细介绍了零基础用 Python 开发爬虫的各方面知识，同时相比第一版新增了 JavaScript 逆向、Android 逆向、异步爬虫、深度学习、Kubernetes 相关内容，‍同时本书已经获得 Python 之父 Guido 的推荐，目前本书正在七折促销中！

内容介绍：《Python3网络爬虫开发实战（第二版）》内容介绍

扫码购买

好文和朋友一起看~