Hydra学习笔记

介绍

Hydra 是一个开源 Python 框架，可简化研究和其他复杂应用程序的开发。主要功能是能够通过组合动态创建分层配置，并通过配置文件和命令行覆盖它。九头蛇这个名字来源于它能够运行多个类似的工作——很像有多个头的九头蛇。

主要特点：

可从多个源组合的分层配置
可以从命令行指定或覆盖配置
动态命令行 Tab 自动补全
在本地运行应用程序或启动它以远程运行
使用单个命令运行具有不同参数的多个作业

Hydra 支持 Linux、Mac 和 Windows。
版本对应：

本指南将向您展示通过将应用程序编写为 Hydra 应用程序获得的一些最重要的功能。如果您只想使用 Hydra 进行配置组合，请查看 Hydra 的 compose API 作为替代方案。另请阅读完整的教程以获得更深入的了解。

安装：

pip install hydra-core --upgrade

基础样例：

conf/config,yaml

db:
  driver: mysql
  user: omry
  pass: secret

Application:

my_app.py

import hydra
from omegaconf import DictConfig, OmegaConf

@hydra.main(version_base=None, config_path="conf", config_name="config")
def my_app(cfg : DictConfig) -> None:
    print(OmegaConf.to_yaml(cfg))

if __name__ == "__main__":
    my_app()

您可以从命令行覆盖加载的配置中的值：

$ python my_app.py db.user=root db.pass=1234
db:
  driver: mysql
  user: root
  pass: 1234

构图示例:

您可能希望在两个不同的数据库之间交替使用。为了支持这一点，创建一个名为 db 的配置组，并在其中为每个备选方案放置一个配置文件： 应用程序的目录结构现在如下所示：

├── conf
│   ├── config.yaml
│   ├── db
│   │   ├── mysql.yaml
│   │   └── postgresql.yaml
│   └── __init__.py
└── my_app.py

这是新的配置：

defaults:
  - db: mysql

defaults 是一个特殊指令，告诉 Hydra 在编写配置对象时使用 db/mysql.yaml。生成的 cfg 对象是默认配置与 config.yaml 中指定的配置的组合。

现在，您可以从命令行选择要使用的数据库配置并覆盖值：

$ python my_app.py db=postgresql db.timeout=20
db:
  driver: postgresql
  pass: drowssap
  timeout: 20
  user: postgres_user

您可以根据需要拥有任意数量的配置组。

多运行

您可以使用 --multirun|-m 标志轻松地使用不同的配置多次运行函数。

$ python my_app.py --multirun db=mysql,postgresql
[HYDRA] Sweep output dir : multirun/2020-01-09/01-16-29
[HYDRA] Launching 2 jobs locally
[HYDRA]        #0 : db=mysql
db:
  driver: mysql
  pass: secret
  user: omry

[HYDRA]        #1 : db=postgresql
db:
  driver: postgresql
  pass: drowssap
  timeout: 10
  user: postgres_user