wandb可视化自动调参

wandb可视化自动调参

wandb.sweep: 低代码，可视化，分布式 自动调参工具。

使用wandb 的 sweep 进行超参调优，具有以下优点。

(1)低代码：只需配置一个sweep.yaml配置文件，或者定义一个配置dict，几乎不用编写调参相关代码。

(2)可视化：在wandb网页中可以实时监控调参过程中每次尝试，并可视化地分析调参任务的目标值分布，超参重要性等。

(3)分布式：sweep采用类似master-workers的controller-agents架构，controller在wandb的服务器机器上运行，agents在用户机器上运行，controller和agents之间通过互联网进行通信。同时启动多个agents即可轻松实现分布式超参搜索。

使用 wandb 的sweeps 调参的缺点：

需要联网：由于wandb的controller位于wandb的服务器机器上，wandb日志也需要联网上传，在没有互联网的环境下无法正常使用wandb 进行模型跟踪 以及 wandb sweep 可视化调参。

B站视频演示：https://www.bilibili.com/video/BV1rM411Y7nZ

使用Sweep的3步骤

1. 配置 sweep_config

配置调优算法，调优目标，需要优化的超参数列表 等等。

2. 初始化 sweep controller: